Google Dance黙示録 2003-06

このページは、Googlebot巡回の日々の記録である。Google Dance黙示録のメインコンテンツであり、Googleにまつわる情報やサイトに関連することを書きとめている。

「De=Deepbot（IP：216.239.46.x）」の巡回はかなり重要、ディープクロールと言われ、次回の月一更新用にインデクシングを行ない、これをもとにPageRank（ページランク）やバックリンクの計算を行なうとみられている。
「Fr=Freshbot（IP：64.68.82.x）」はフレッシュクロール、日付入りキャッシュによる瞬間的な上位表示、Everfluxと呼ばれる流動的な上位表示の源となっている。
「UG=名無しのGooglebot（今のところIP：64.68.80.x）」はおそらくFreshbot
「Ns=IP：64.68.88.ｘ」の正体は今のところ不明だが、おそらくFreshbotか？
しかし2003年6月更新時には、DeepbotなくしてGoogle更新が行なわれたようなので、油断ならない。ログ解析と照らし合わせると、Freshbotがフレッシュクロールだけでなく、ディープクロールも役割を担っている。詳細はGooglebot一覧へ。

Google Dance黙示録 2003年6月編
Date	Comment	Ns	UG	Fr	De
Date	Comment	Ns	UG	Fr	De
01
02	Freshbotは毎日のように来ているが、他のGooglebotの訪問が途絶えている。不気味だ。もし5月ののGoogle Updateが大掛かりなものだったとするならば、Googlebot全体の役割や働きなども変更されているのかもしれない。
03	Googleのアルゴリズム変更やスパムフィルタ導入のアンテナとして、自らスパムサイトを立ち上げる。まず全ページがインデクシングされて、ペナルティが科せられキャッシュが消えたら大成功
04	Freshbot終日、しかも巡回パターンが少し違っている。取得しないと言われてきたpdfにアクセス、またリンクもなく、かつてGETされたことのないファイルまで。これは巡回時にリンクをたどるのではなく、GoogleのデータベースにあるURIリストを元に、サイト内を好き勝手に探し回っているってことらしい。robots.txtを見るのも、禁止されたいるかどうかの確認だけのよう。
05	なにやら、PageRankの表示がおかしい。あちこちで騒がれている。
06	最近日付入りが出ない。そして古いキャッシュが表示されて、順位はEverflux。Googleに変化ありや？
07	さて通常のパターンでは、Google Dance終了後Deepbotが次の更新用のインデックスを取得し、これがバックリンクやPageRankの元となる訳だが、ディープクロールがなかなかされない。やはり今のGoogleはおかしい。
08	Deepbotの巡回が遅れているが、ひょっとするとディープクロールのパターンを変更しようとしているかもしれない。苦手な動的ファイルの取得範囲を広げるとか、スパム判定のためにタグ解析を複雑化しているとか…
09
10	最近、スパムフィルタ確認のために、自分でサイトを立ち上げ、またスパムページを収集しているが、逆に上位表示の仕組みもより明確になった来たようだ。
11
12
13	Freshbotの巡回。予想に反してpdfもGET。やはり最近のGoogleはおかしい。
14	今回のGoogleの「5月革命」以来、フレッシュクロールで同じファイル何度もテイクアウトしているのだが、今表示されるキャッシュは古く、しかも新しく作成したファイルはキャッシュすらされていない。何のために、うろちょろしてるんだか…
15	久しぶりにフレッシュクロールの定番、日付入りキャッシュが見られた。
Date	Comment	Ns	UG	Fr	De
16	待望のGoogle更新開始！41更新。
17	39、41更新。
18	37、39、41更新。
19	37、39、41、51、55更新。
20	33、37、39、41、51、55更新。
21	33、35、37、39、41、51、55、57更新。
22	Google Dance（更新）終了。Powered by Googleも更新済みサーバを参照。Googleディレクトリもすべて更新済み。
23	検索結果が動いているのはダンスではない。データが更新されたものの、検索時のクエリが正常化していないようだ。つまり検索した時の上位下位の順位付けのところに揺れがあるが、これもじき収まるだろう。
24
25	2003-04-13初お目見えのMicrosoftPrototypeCrawler、2003-06-19からはMSNBOTと名を変えて巡回している。IPは131.107.163.xx。（そこが知りたい！検索エンジンの裏側　第8回）
26	Freshbot巡回、というもののrobots.txtとDirectoryIndexだけ、しかも連日。index.htmlがSERPに出ない現象と関係あるのだろうか？
27	一見SERPが安定したようだが、やはりindex.htmlの評価がおかしいところがある。
28
29	また、SERPがおかしくなっている。騒がれているindex.htmlの低評価。更新以降、この繰り返しである。
30