検索エンジン最新情報のSEO塾の公式ブログ。ヤフー・グーグルなどの検索上位表示対策と順位変動、インデックス更新、ツールや機能、その他の話題など
『Google・Yahoo!・Bing最新情報の「SEO塾の公式ブログ」』をご利用ください。
国内外の情報に惑わされず、独自の検証と実験を続けているSEO塾が、検索エンジンのアルゴリズムとペナルティの謎に接近。
| Crawl1 | 216.239.46.1 | 〜 | 216.239.46.30 | Crawl21 | 64.68.85.189 | 〜 | 64.68.85.208 | |
| Crawl2 | 216.239.46.31 | 〜 | 216.239.46.60 | Crawl22 | 64.68.80.1 | 〜 | 64.68.80.30 | |
| Crawl3 | 216.239.46.61 | 〜 | 216.239.46.80 | Crawl23 | 64.68.80.31 | 〜 | 64.68.80.60 | |
| Crawl4 | 216.239.46.81 | 〜 | 216.239.46.110 | Crawl24 | 64.68.80.61 | 〜 | 64.68.80.80 | |
| Crawl5 | 216.239.46.111 | 〜 | 216.239.46.140 | Crawl25 | 64.68.80.129 | 〜 | 64.68.80.158 | |
| Crawl6 | 216.239.46.141 | 〜 | 216.239.46.160 | Crawl26 | 64.68.80.159 | 〜 | 64.68.80.188 | |
| Crawl7 | 216.239.46.161 | 〜 | 216.239.46.189 | Crawl27 | 64.68.80.189 | 〜 | 64.68.80.208 | |
| Crawl8 | 216.239.46.190 | 〜 | 216.239.46.219 | Crawl28 | 64.68.81.1 | 〜 | 64.68.81.30 | |
| Crawl9 | 216.239.46.220 | 〜 | 216.239.46.240 | Crawl29 | 64.68.81.31 | 〜 | 64.68.81.60 | |
| Crawl10 | 64.68.84.1 | 〜 | 64.68.84.30 | Crawl30 | 64.68.81.61 | 〜 | 64.68.81.80 | |
| Crawl11 | 64.68.84.31 | 〜 | 64.68.84.60 | Crawl31 | 64.68.88.1 | 〜 | 64.68.88.30 | |
| Crawl12 | 64.68.84.61 | 〜 | 64.68.84.80 | Crawl32 | 64.68.88.31 | 〜 | 64.68.88.60 | |
| Crawl13 | 64.68.84.129 | 〜 | 64.68.84.158 | Crawl33 | 64.68.88.61 | 〜 | 64.68.88.80 | |
| Crawl14 | 64.68.84.159 | 〜 | 64.68.84.188 | Crawl34 | 64.68.88.129 | 〜 | 64.68.88.158 | |
| Crawl15 | 64.68.84.189 | 〜 | 64.68.84.208 | Crawl35 | 64.68.88.159 | 〜 | 64.68.88.188 | |
| Crawl16 | 64.68.85.1 | 〜 | 64.68.85.30 | Crawl36 | 64.68.88.189 | 〜 | 64.68.88.208 | |
| Crawl17 | 64.68.85.31 | 〜 | 64.68.85.60 | |||||
| Crawl18 | 64.68.85.61 | 〜 | 64.68.85.80 | |||||
| Crawl19 | 64.68.85.129 | 〜 | 64.68.85.158 | |||||
| Crawl20 | 64.68.85.159 | 〜 | 64.68.85.188 |
| Crawler1 | 64.68.86.1 | 〜 | 64.68.86.30 | Crawler10 | 64.68.82.1 | 〜 | 64.68.82.30 | |
| Crawler2 | 64.68.86.31 | 〜 | 64.68.86.60 | Crawler11 | 64.68.82.31 | 〜 | 64.68.82.60 | |
| Crawler3 | 64.68.86.61 | 〜 | 64.68.86.80 | Crawler12 | 64.68.82.61 | 〜 | 64.68.82.80 | |
| Crawler4 | 64.68.86.130 | 〜 | 64.68.86.158 | Crawler13 | 64.68.82.129 | 〜 | 64.68.82.158 | |
| Crawler5 | 64.68.86.159 | 〜 | 64.68.86.188 | Crawler14 | 64.68.82.159 | 〜 | 64.68.82.188 | |
| Crawler6 | 64.68.86.189 | 〜 | 64.68.86.208 | Crawler15 | 64.68.82.189 | 〜 | 64.68.82.208 | |
| Crawler7 | 64.68.87.1 | 〜 | 64.68.87.30 | Crawler16 | 〜 | |||
| Crawler8 | 64.68.87.31 | 〜 | 64.68.87.60 | Crawler17 | 〜 | |||
| Crawler9 | 64.68.87.61 | 〜 | 64.68.87.80 | Crawler18 | 〜 |
IPが216.239.46.xのGooglebot(グーグルボット)。
Google Dance終了後に活動を開始、Webページをインデックスし、キャッシュ、PageRank(ページランク)、バックリンクを確定させる。
Main Crawl(メインクロール)と呼ばれることもある。
IPが64.68.82.xのGooglebot(グーグルボット)。
ニュースサイトや頻繁に情報を更新するところは、Googleの月一のインデックス更新による検索表示では、何の意味もないため、ほぼリアルタイムで検索に引っ掛かるように、一日に何回もロボットを派遣してページをキャッシュしているとのこと。
結果表示画面で日付入りキャッシュになっているとか、48時間で消えてしまうとか、突発的に上位表示されるとか、様々な現象が見られる。
Freshbot来訪の条件については、PageRank(ページランク)や、ページの更新頻度や、色々取りざたされているが、確実なことは何一つ分かっていない(私だけか?)。
さらにはFreshbotが来る来ないだけでなく、Fresh Crawl(フレッシュクロール)によって取得したページが検索で表示される条件すら全く把握できていない。
フレッシュクロールによる日付入りキャッシュによって、瞬間的な順位変動が起こっている。
さらにEverfluxと呼ばれる現象もある。月一更新を待たずに、日付入りと違って流動的な順位変動が起こっている。フレッシュクロールによって、インデックスの追加、更新、削除が起こっているようである。ここでの順位は、バックリンクやPageRankの再計算は、当然行なっておらず、もっぱらテキストマッチのみと想像される。しかもアンカーテキストも、追加カウントはされていないはず。最近の探索で気付いたが、テキストマッチにはページ内記述とページ外アンカーの二つの要素があるが、両方ともEverfluxで反映している。とくにアンカーの変動は不思議でならない。
IPが64.68.84.x、64.68.85.x、64.68.86.xのGooglebot(グーグルボット)"らしい"。
2003-09-12、Crawler1と2、8が巡回してきて、通常のファイルをGET。つまり、少なくともCrawler1・2はImagebotではなくなった、あるいはガセネタだったことになる。
IPが64.68.80.x、64.68.81.x、64.68.87.xのGooglebot(グーグルボット)。
このGooglebotの役目、正体は何か?
IPを判断材料にするならば、これらのGooglebotはFreshbot、ホスト名ならCrawlxがDeepbot、CrawlerxがFreshbotになる。
Googleのサーバ(データセンター)のIPは、すべて216.239.x.xとなっている。ここから、同じIPではじまる216.239.46.xのみがDeepbotで、これらの64.68.x.xのIPを持つGooglebotはFreshbotと推察したい。
IPが64.68.88.xのGooglebot(グーグルボット)。
正体不明、IPからはFreshbot?
2003-07-04に初登場。
Crawler1・2はIPが64.68.86.x、Crawler8はIPが64.68.87.xのGooglebot(グーグルボット)。
情報によると、Crawler1・2はWebの画像を収集するImagebotと言われていたが、今のところ正体不明。IPからはFreshbotだろう。
2003-09-12に当管理サイト巡回
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
WEB雑記2 USER-AGENT(サイトを訪れるユーザーエージェントについて)
64.68.82.28 - - [07/May/2003:15:57:19 +0900] "GET /google/ HTTP/1.0" 200 36657 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
上記ログの「200」の箇所は、HTTPステータスコードという。「301」「302」「304」「401」「404」などと記録される。
| ステータス・コード | 意味 | 参照 | |
|---|---|---|---|
| 200 | OK | Googlebotのファイル取得 | ・HTTPステータス・コード ・HTTPステータスコード |
| 301 | Moved Permanently | 別のアドレスへ移動 | |
| 302 | Moved Temporarily | 一時的に別のアドレスに移動 | |
| 304 | Not Modified | 未更新 | |
| 401 | Unauthorized | 認証が必要 | |
| 404 | Not Found | ページなし | |