当サイトの検索エンジンもロボット型のご多分にもれずクローラと呼ばれるロボットが皆様のサイトを自動巡回します。
下記に当サイトクローラのUser-Agentを書かせて頂きます。
もし、見かけましたらよろしくしてあげてください。
Mozilla/5.0 (compatible; IllustCrawler/0.8; +http://www.ekaki3.net/bot.html)
※開発バージョンによって多少違うメッセージを残す可能性があります。
「robots.txt」「METAタグ」双方共に対応しています。
対応している機能は以下のとおり
「robots.txt」
ディレクトリ毎(もしくはサイト丸ごとの拒否に対応しています)
※Googlebotのような正規表現でのアクセス制御には対応していません
「METAタグ」
nofollow,noindexに対応しています。
現状同一サイトへのアクセスは15秒の間をとってアクセスするようになっています。