自由帳

Googleのクローラーはrobots.txtの内容を大体は理解してくれる「紳士的な」クローラーな方…だと思っていたのですが、巡回時間間隔の制限？（Crawl-Delay）はちっとも理解しません。
頻繁にきたって更新されてないんだから、多くても半日（12時間）に一度来れば十分だろ？って思って12時間の設定を記述してみたんですが、それを記述してから逆に毎時間何十ページもクロールしていくようになりやがった。というか、常にクロールしてんじゃない？って感じ。
一日に300アイテム以上クロールしていく（しかもTopと日記と商店街くらいしか許可してない）ってどういうこと!?って思いません？
ここまで来ると、もうひたすら「気持ち悪い」ですよね…！

しかも、こんだけ毎日クロールしてるのに、実際Googleで検索しても記事のタイトルとか内容で検索語がHitしないんですよ。
…じゃぁ何のためにクロールしてるの？って聞きたくなります。

indexと日記だけは許可しとくか…と思ってそういう設定にしてたけど、あんまりにも動きが気持ち悪すぎるから、Googlebotもindex以外不許可にしちゃおうかなぁ…。

毎時間Googlebotがあまりにも沢山のアイテムをしつこいぐらいにクロールしていくのがアクセスログに残っていて、見るのもうんざりしてしまうので、最近は余計にアクセス解析も見なくなってしまいました。
お陰様で自分のサイトへの皆様の訪問状況を全く把握していません。
…ま、それはそれでシアワセな事なのかも知れないですけど。