Web サイトへのクローラーからのアクセスを制御する仕組みに robots.txt というものがある。このファイルを書式に沿って記述すれば Google などの検索エンジンのクローラーのアクセスを制御する事ができる。
WordPress では自動的に生成されたものが利用されるので普段管理者が触る事はあまりないと思うが、自分で細かく設定したいという人もいるだろう。
WordPress で robots.txt を編集するのであれば Multipart robots.txt editor というプラグインを利用すると管理画面上から操作できるので便利だ。
https://wordpress.org/plugins/multipart-robotstxt-editor/このプラグインをインストールし有効化すると管理画面の設定欄に「Multipart robots.txt」という項目が現れる。これを開くと robots.txt の編集画面が表示される。
編集画面は WordPress のコアが生成する部分、プラグインとテーマが生成する部分、ユーザーが定義する部分の三種類にわかれておりそれぞれ有効/無効を切り替えられる。ユーザー定義の場所では自分で好きなように記述できる。
それだけでなく、行儀の悪い bot を一括で robots.txt へ書き込む機能も用意されている。
WordPress で robots.txt を編集したいのであればこのプラグインを試してみると良いと思う。
Sponsored Link