robots.txtの設定により、クローラのアクセスを制御することができます。
環境設定ページの「ブログの設定」ページにrobots.txtの設定項目があります。
サイトの情報を取得する検索エンジンプログラム(クローラー)のアクセスを制限するためのテキストファイルです。テキストファイルには、クローラーに向けた命令文を記述します。
1オリジナルのrobots.txtを利用する場合は、「robots.txtの設定」という項目を「編集したrobots.txtを使用する」に設定します。