自由帳

で、CMSの方のアクセスログとか、見てみたりしてるんですが…うーむ、アクセス数のうちの半分以上がロボット系の人々（人じゃないだろ…）だ(ｰｰ;)というか、アクセスログ見るとウザイ程にロボット系の人達がぐる?り巡回してやがる。
RSSを取得するロボット（っていうかRSSリーダなのかな？）も特定の所のものが毎日何度も来てるんですよね。しかも毎回過去記事にさかのぼってご丁寧にぜ??んぶ拾って行ってるみたいなの。
さすがにアクセスログで見る時これはウザイなぁ(^_^;)と思ったので、何処まで効果あるか解らないんですが、ロボット除けを施してみる事に。
あのぅ、何年か前から、Webサイトを勝手にアーカイブして公開してるサイトがあるでしょう。Googleのキャッシュじゃなくて、過去ページのアーカイブの公開ね。開始当時、削除したはずの古いページまで、勝手に公開されている！著作権の侵害だ！って一部で討論されてたみたいですが（どうやら削除希望を送ると閲覧不可にはしてくれるらしいですね）、やっぱり勝手に自分のサイトを全保存して不完全な形で知らない間に公開されてるっていうのは、いくらWWWという世界だからとはいえ、感情的には気分は良くないですよね…。
という訳で、一応、そのアーカイブサイトのロボット除けも一応考慮して記述してみました。
indexページ以外のサーチエンジンからの検索を拒否する指定にしたら、一応Googleではindexしかサーチエンジンに引っかからないようになってたみたいなんですが（くまなく見たわけではないので完全に遮断されてたかは不明ですが）、それではあまりにもきつく拒否しすぎるか(^_^;)って思って、インデックスとアーカイブは拒否するけど、日記まで検索はOKよ、って指定に変えてみました。テキストメインの日記なんかは、検索されてOKとして然るべき(?)なのかなって気もするんで。ただし、ぎゃらりーとか脳天気図書館とかは検索対象には入れないようにはしてあるんですが…。
勿論、metaタグに書いた程度なので、何処まで有効かってのは解らないんですけどね。それに、ロボットたちが、内部を延々ぐるぐる巡回するのも何処まで防げるのかも解らないんですけど(^_^;)
…希望的にはアクセスログがもーちょっと、見やすくなったらいいなぁ、って思ってます…。