meta name=”robots” content=”none”
Friday, April 6th, 2001
article in english
去年底，國內的智富網在替中國信託商銀辦的一個網路活動中，不慎將蒐集來的會員詳細資料放在一個看似隱藏的”公開”伺服機上，好巧不巧這個詳細資料網頁的URL被老美的Google索引，又有一天不巧一個參加這個活動的網有心血來潮在Google打上自己的名字搜尋，才發現自己包括姓名、身分證字號、年齡與婚姻狀況等多項個人資料竟然隨手可得。整件事才被公開來。看來可怕的搜尋引擎蜘蛛給了大家很多方便，但也有人因此憂心，我認為整個事件的結論就是智富網的工程師該打屁股，身為網站開發者必須要持有保護自己的基本常識，瞭解如何在資訊公開的情況下保護無孔不入的搜尋引擎蜘蛛。更不應該的竟然將會員名單存放在赤裸裸的html主機上。
好啦，以下兩種方法可以防止搜尋引擎紀錄http伺服機上的網頁，以及檔案夾下的結構。但除了google之外，我不保證kimo或者yam也吃這一套喔！因為台灣的搜尋引擎參考資料幾乎只有內部人員才知道，開放程度相當有限。
吶，你可以在某個主頁的meta中下這個指令 meta name=”robots” content=”none”，就可以防止搜尋引擎索引包含這個網頁及下層的所有結構。或者更簡單的方法，就是在你的伺服機跟目錄下放一個叫robots.txt的防索引檔，寫法相當簡單，你可以參考此連結做修改。
其他有關防索引的協定可以到以下這個url找到http://info.webcrawler.com/mak/projects/robots/exclusion.html，保護自己從現在開始。祝大家事事順心。
相關網址1 http://internet-tips.net/HTML/META_name_robots.htm#Examples
相關網址2 http://info.webcrawler.com/mak/projects/robots/exclusion.html