月別アーカイブ: 2016年11月

SearchConsole/robots.txtの設定方法


【Robots.txt】

Robots.txtは、クローラに対して巡回するサイト要素(Webページ、画像、ファイル)に制約条件を定義するための定義です。

制約条件とはクロールする必要のない要素を定義して無駄なクロールを抑止することです。

クローラは、1度の巡回で全てのサイト要素をクロールするわけではありません。

閲覧者に有効なサイト要素にクロールを集中させるためには、無駄なクロールを排除する必要があります。

そうすることによって、有効なページの検索順位が上がっていく可能性が高くなります。

Robots.txtの定義

①User-Agent: *
 User-AgentはGoogleやYahooだけでなく多数あります。
 「*」は、全てのユーザエージェントを対象とする定義です。

②Allow:/
 使用する機会は少ないと思いますが、
 「/」は、サイトフォルダー配下の全てをクロール対象とする定義ですが、定義なしでも全て対象となります。
 クロール対象外としたフォルダー配下の一部のファイルをクロールさせる場合、以下のように定義する。
  Disallow:/test/
  Allow:/test/test.html

③Disaliow:/s/
 「/test/」は、testフォルダー配下の全てをクロール対象外とする定義です。

④1行分空行

⑤Sitemap: http://サイトアドレス/sitemap.xml.gz
 Sitemapは、サイトマップファイルのアドレスを定義します。
 クローラは、Sitemapの情報からサイトをクロールして情報収集を行います。
 サイトマップのアドレスは、以下のいずれかを定義します。
 ・「http://サイトのアドレス/saitemap.xml」
 ・「http://サイトのアドレス/saitemap.xml.gz」
 ※gzは圧縮形式のファイルです。

登録手順

①または②でRobots.txtを作成する。

①テキストエディターでRobots.txtを作成する。

②SearchConsoleの「クロール→robots.txtテスター」をクリックするとrobots.txtが表示されます。
 表示されたrobots.txtを修正して、コピーペーストしてRobots.txtを作成する。

③作成したRobots.txtをFTPでサーバーへアップロードする。
 ルートディレクトリー直下へアップロードしてください。

④テスト
 SearchConsoleの「クロール→robots.txtテスター」をクリックする。
 アップロードしたrobots.txtが表示されます。
 ページの一番下にURLと「テスト」ボタンが表示されます。
 Disallowで定義したフォルダーやファイルをのURLを入力して「テスト」ボタンをクリックする。
 入力したURLの背景色が赤色になり、「テスト」ボタンが「ブロック済」と表示されればOKです。

⑤「送信」ボタンをクリックする。
 3 Googleに更新をリクエスト 「送信」ボタンをクリックする。

これで登録手続き完了です。