ロボットと、HTTP/1.1 

Google Dance中というのに、Googlebotは手を休めない。それどころか、例の「Googlebot/Test」が来ている。 さて、ログを見て驚いたことは、 "GET ほげほげ.html HTTP/1.1" 200 xxx "-" "Googlebot/Test" と、HTTP/1.1になっていることだ。 通常のGooglebotは、 "GET ほげほげ.html HTTP/1.0" 200 xxx "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" と、HTTP/1.0である。 そこで、Yahoo! SearchとMSNはというと、 "GET ほげほげ.html HTTP/1.0" 200 xxx "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" "GET ほげほげ.html HTTP/1.0" 200 xxx "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)" ということで、やはりHTTP/1.0である。 念のため、HTTP/1.1のロボットを少し調べてみたところ、 ・Hatena Antenna/0.4 (http://a.hatena.ne.jp/help#robot) ・timboBot/0.9 http://www.breakingblogs.com/timbo_bot.html ・Mozilla/4.0 compatible ZyBorg/1.0 (wn.zyborg@looksmart.net; http://www.WISEnutbot.com) ・Mozilla/4.0 compatible ZyBorg/1.0 Dead Link Checker (wn.zyborg@looksmart.net; http://www.WISEnutbot.com) ・TurnitinBot?/1.5 となっている。 特に、WiseNutのDead Link Checkerというのが光っている。 ともあれ、HTTP/1.1でGooglebotのテストをやっているということだ。 より厳密にページをGETし、かつクローキング対策も強化するということだろうか？ 参照：HTTPログファイルの読み方-「鷹の巣」の自宅サーバー

投稿者：ライオン丸 時間：18:03