23/05/07: 奇怪的 MSNBOT
先前看紀錄,msnbot 總是抓了不少檔案,流量也比 google 來的還大許多。
log 的紀錄是:"msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)"
這兩天發現 msnbot 有抓一些檔案是它不應該去抓的。
先前就已經在考慮要不要把它整個擋下來,現在發現它居然在亂抓!!!
所以,再見啦 msnbot。一樣先用 robots.txt 裡的設定。先觀察幾一段時間,如果再來的話,我就要用 iptables 把它整個網段給鎖起來。
MS 呀,再這樣搞下去,我真不知你要拿啥和 Google 競爭!!!
log 的紀錄是:"msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)"
這兩天發現 msnbot 有抓一些檔案是它不應該去抓的。
先前就已經在考慮要不要把它整個擋下來,現在發現它居然在亂抓!!!
所以,再見啦 msnbot。一樣先用 robots.txt 裡的設定。先觀察幾一段時間,如果再來的話,我就要用 iptables 把它整個網段給鎖起來。
MS 呀,再這樣搞下去,我真不知你要拿啥和 Google 競爭!!!