robots.txt 使い方と設置と必要な項目(作成・テスト・送信)

robots.txt 使い方と設置と必要な項目(作成・テスト・送信)

Googleのウェブマスター向けガイドラインを見ているとちょくちょく出てくるrobots.txtの使い方と必要な項目を私個人の意見を取り入れた説明をしたいと思います。あくまで個人の意見なので参考程度に理解して下さい。SEOとの関連もありますので、この際に設置がまだの方はこれをきっかけに設置される事をお勧めします。
スポンサーリンク

robots.txtを理解する

robots.txtファイルが何が出来きて・何が出来いのかを説明致します。作成される前にこれを知っておかないと意図した事が出来なかったり、意図しない結果になってしまったりする為キチンと把握しましょうね。

 

robots.txtが出来る事

robots.txtが出来る事は数少ないです。これを知って作成に取り掛かりましょうね。

  • Google等の検索エンジンに登録しない・見に来ないでねと指示出来る
  • サイトマップを検索エンジンに伝える事が出来る

以上です。たったこれだけしかrobots.txtは出来ないのです。それではnoindx,nofollowのでもいいのでは?と思われたかもしれませんね。でもそれはちょっと違いまして、robots.txtはnoindx,nofollowと違い細かい設定が簡単に出来る事ですね。それは下記にて詳しく説明しますがrobots.txtの利点は管理し易い・検索エンジンに指示が簡単に行えると言う事です。

Google等の検索エンジンに登録しない・見に来ないでねと指示出来る

 

robots.txtファイル 使い方(作成・テスト・送信)と必要性

robots.txtファイル 使い方(作成・テスト・送信)と必要性 出来る事

 

もう先に説明してしまいましたが、検索エンジンに登録しない・見に来ないとはどういう事かと言いますと、インデックスの拒否(検索順位に反映されない)やサイトパワーの受け渡しがされない事を意味します。又画像やjavaScriptを評価しないでねといった細かい設定もする事が出来ます。robots.txtの効果としてはnoindx,nofollowと同じ効果になります。

サイトマップを検索エンジンに伝える事が出来る

 

robots.txtファイル 使い方(作成・テスト・送信)と必要性1

robots.txtファイル 使い方と設置と必要な項目(作成・テスト・送信) 出来る事1

 

そのままですね。robots.txtを読みに来た際、ついでに検索エンジンにサイトマップの存在を知って貰う事が出来ます。一石二鳥ですね。

 

robots.txtが出来ない事

robots.txtが出来る事も有れば勿論出来ない事も有ります。それはrobots.txtの限界であり、その限界を知っておかないとrobots.txtだけに頼っていたら大変の事になる恐れが有ります。

  • 検索エンジンに登録しない・見に来ないが100%通知出来ない
  • 検索エンジンにより記述内容が異なる
  • 他のサイトで紹介されている自分のURL等はブロック出来ない

ここを知っておかないと見せたくないページが登録されたり、他の検索エンジンにインデックス登録されたり、他のサイトでこのURLが紹介されたりします。robots.txtの限界になります。

検索エンジンに登録しない・見に来ないが100%通知出来ない

 

robots.txtファイル 使い方(作成・テスト・送信)と必要性 限界を理解する2

robots.txtファイル 使い方と設置と必要な項目(作成・テスト・送信) 限界を理解する2

 

robots.txtもnoindexと同様に検索エンジン(クローラー)が記述を見過ごして検索結果に反映される事があります。つまり絶対に見られたくないページをrobots.txtで制御してはいけないと言う事になります。

検索エンジンにより記述内容が異なる

 

robots.txtファイル 使い方(作成・テスト・送信)と必要性 構文解釈が異なる3

robots.txtファイル 使い方と設置と必要な項目(作成・テスト・送信) 構文解釈が異なる3

 

あくまで例です。各検索エンジンへのrobots.txtの指示コードが異なる為、キチンとGoogleの検索エンジンでは反映されるがBingの検索エンジンでは反映されなく意図しない結果になる事が有ります。

他のサイトで紹介されている自分のURL等はブロック出来ない

 

robots.txtファイル 使い方(作成・テスト・送信)と必要性 他のサイトのURLをブロックできない3

robots.txtファイル 使い方と設置と必要な項目(作成・テスト・送信) 他のサイトのURLをブロックできない3

 

他のサイトで参照されている自サイトのURLをブロック出来ません。これが出来れば偉い事になりますもんね!!嫌がらせのrobots.txtになってしまします。

以上がrobots.txtを理解するの説明になります。これを踏まえてrobots.txtの設置を行って下さい。と言うよりあくまで私の個人的の意見になりますが、ここまでの説明だけで判断するなら正直robots.txtは使えません!!設置する利点が見だせません!!となりますよね。しかしGoogleがrobots.txtを指定してブロックする項目を紹介しているのです。その項目の説明が次の紹介になります。

 

robots.txtを設置する必要がある項目としてはいけない項目

上記説明だとなんらrobots.txtの利点が見だせません。絶対にインデックス(検索結果に反映)させない様にする為には他のコードで制御する必要が有りますしね。ではGoogleが推奨するrobots.txtの設置項目を見て行きましょう。

 

Googleが推奨するrobots.txtの設置項目

Googleウェブマスター向けのガイドラインより抜粋します。下記項目を見てもらえれば分かる様にrobots.txtを指定してGoogleは設置を行う様に説明しています。そう文面にrobots.txtではなくてrobots.txtを使用してと指定しているのです!!

  • 広告が検索エンジンの掲載順位に影響を与えないように、適切な対処をします。たとえば Google の AdSense 広告や DoubleClick のリンクでは、robots.txt ファイルでクロールをブロックしています。
  • robots.txt を使用して、検索結果ページや、検索エンジンからアクセスしたユーザーにとってあまり価値のない他の自動生成ページをクロールしないよう制御します。
  • robots.txt: コンテンツのクロールによってサーバーで問題が発生する場合に使用します。たとえば、無限カレンダー スクリプトをクロールさせないような場合です。

又設置を推奨している項目設置してはいけない項目も同様に記載されています。しかしとても優しく無い書き方をされているので正直この文面で全てを読み取る事は不可能です。

 

Googleが否定するrobots.txtの設置項目

Googleウェブマスター向けのガイドラインより抜粋します。もっと分かり易く書いて欲しいのですが・・・・いけずですねGoogleは!!ここでは検索エンジンに全てのページをクロール出来る様にrobots.txtを使用しないで下さいと書かれています。

  • Google がサイトのコンテンツを完全に把握できるように、サイトのアセット(CSS や JavaScript ファイル)がすべてクロールされるようにしてください。Google インデックス登録システムは、ページの HTML やそのアセット(画像、CSS、JavaScript ファイル)を使用してウェブページをレンダリングします。Googlebot がクロールできないページアセットを確認し、robots.txt ファイルのディレクティブをデバッグするには、Search Console の Fetch as Google ツールと robots.txt テスターツールを使用します

Googleが設置する必要がある項目としてはいけない項目を私なりに解釈すると、設置する必要がある項目に関してはrobots.txtでインデックス(検索結果に反映)されない様にして、その他項目についてはrobots.tst等でインデックス(検索結果に反映)させない様にする事は勧めていません。つまりrobots.txtでよほどの理由が無い限りGoogleが推奨するrobots.txtの設置項目以外で使用しない様にする必要が有ります。

以上の事でGoogleが推奨するrobots.txtの設置項目に該当する箇所だけにrobots.txtを設置します。それ以外の項目についてはrobots.txtでは無く他のコードで対処される方が良いと判断します。Googleがrobots.txtの設置を必要と判断している項目は次の項目になります、コードの書き方と並行に説明していきます。

 

robots.txtの使い方・作成方法

使い方と作成方法の説明を致します。凄く簡単なのでコード記載が初めての方でもスグ理解出来ますよ!!この際にやっちゃいましょうね。

 

robots.txtを作成するテキストエディタ

robots.txtを作成する際に必要なツールが有ります。それはtxt拡張子を持つテキストエディタです。txt拡張子さえあれば何でもいいと思います。今お使いのPCに備え付けてあるメモ帳でも勿論OKです。私も勿論メモ帳で作成しました。

Windows左下のスタートメニューすべてのプログラムアクセサリメモ帳

又ファイル名は必ずrobots.txtにする必要があります。これは絶対です。

 

コードを記述する際のルール

コードは大文字小文字は区別されます。また半角全角スペースも区別されますのでキチンとスペースは半角を使用して下さい。記述ミスがあるとそのコードに関しては無視されますので!!

 

robots.txt コードを記述する際のルール

robots.txt コードを記述する際のルール

 

robots.txtで必要なコード

まず最初にrobots.txtで絶対に必要な2つのコードの説明をします。この2つのコードだけで正直robots.txtは全てまかなえます。

User-agent:

User-agent: このコードは検索エンジンを(正確にはユーザーエージェント)指定しての記述になります。このコードに対象の検索エンジン名が無いと、自分の事を言われて無いと判断して検索エンジンはコードを完全に無視します。必須です。しかし各検索エンジン名の記載をするのは面倒くさいですし、1つの検索エンジンを対象にrobots.txtを書く理由が見当たらないので、全ての検索エンジンを対象にしたコードを1つのコードとして紹介いたします。

User-agent: *

*が全ての検索エンジンと言う記載になります。簡単ですね!!

Disallow:

Disallow: このコードは検索エンジンにインデックス(検索順位に反映)しないでねと指示するコードになります。robots.txtの真髄ですね。このコードが無ければrobots.txtを設置する意味が有りません。必ず覚えて下さい。ではこのコードから派生する以降の記述方法を紹介します。

Disallow: / サイト全体に対してインデックス(検索順位に反映)しないでねと言う指示になります。

Disallow: /top/sample/ ディレクトリとコンテンツに対してのインデックス(検索順位に反映)しないでねと言う指示になります。言葉だけでは説明不足になるので下記図にて説明します。

 

robots.txtファイル 使い方と作成

robots.txtファイル 使い方と作成

 

Disallow: /top/sample.html ウェブページの場合の記載方法になります。Wordprssを使用している方は余り関係が無い項目になりますが紹介させて頂きます。

Disallow: /*.gif$ 特定のファイルを検索エンジンの評価から外す場合に使用します。今回の記載は拡張子がgifで説明していますが、勿論jpegやcss等何でも指定する事が出来ます。

サイトマップの指定

sitemap:サイトアドレス/サイトマップファイル名 robots.txtでサイトマップの存在を検索エンジンに知らせる方法になります。私の場合の記載例も紹介しておきます。

私の場合の記載 sitemap: http://seoaccessup.top/sitemap.xml

検索エンジンの読み取りを許可するコード

robots.txtの目的は本来で有れば検索エンジン(インデックス)の読み込みを禁止するものです。では何故?逆に読み込みを許可するコードが必要なのでしょうか?その理由は以下の説明になります。

Allow:

Allow: このコードはロボットに見に来てもいいよと指示するコードになります。具体的な使い方は以下の様になります。

User-agent: * 
Disallow: /
User-agent: Mediapartners-Google
Allow: /*

User-agent: *  検索ロボットその他ロボットに対して指示しています。

Disallow: / サイト全体に読みに来ないでと指示しています。

User-agent: Mediapartners-Google グーグルの広告アドセンスのページの分析を行うロボットの指示になります。

Allow: /* サイト全体の読み込みを許可しています。

以上の事をまとめるとインデックス(検索順位の反映)は認めないが、広告の解析と表示は許可している記述例になります。ここで分かる様にrobots.txtの指示するコードDisallow:とAllow:には優先順位が有り、Allow:の方が優先されます。アドセンス広告に対する記述内容になります。察しの良い方はもう理解されたかも?知れませんが、Allow:のコードが優先される為、検索エンジン(インデックス)の読み込み禁止項目が多いい場合、全ての読み込みを一度禁止して検索エンジン(インデックス)の読み込みが必要な項目だけAllow:でコードを書いた方がrobots.txtの管理し易い・コードの記述が少なくて済みます。※robots.txtの管理し易い・コードの記述が少ない=スペルミス・コード記載ミスを防ぐ効果が有ります。どんなにコードの打ち込み作業が慣れている方でも、スペルミス・コード記載ミスは必ずします!!

 

Googleが設置を推奨している項目のコード記載

広告のブロック

現在私は広告をrobots.txtでブロックはしていません。その理由は広告のリンクでも検索順位を上げてくれる広告があるからです。下がる項目に対してはnofollowで対応しています。アドセンスに関してはスルーしています。

価値のない他の自動生成ページ

価値のない自動生成ページとはパーマリンの最初に?が付くURLになります。これでは良く分からないですよね。では例を私のドメインを使用して紹介致します。3パターンが有りますので間違い無い様にして下さい。

例>http://seoaccessup.top/パーマリンク

1.http://seoaccessup.top/seo/5?piew=851530b545a92&&post=staniddard

2.http://seoaccessup.top/seo/5piew=851530b545a92&&post=staniddard?

1.パーマリンクの途中で?が付くURLと2.パーマリンクの最後に?が付くURLになります。このURLは価値のない自動生成ページなのかは?不明ですがこれをrobots.txtでブロックするとウェブマスターツールのブロックされたリソースでカウントされます。ここでカウントされると検索結果に多少の影響を与える場合があります。

 

robots.txt Googleが設置を推奨している項目のコード記載

robots.txt Googleが設置を推奨している項目のコード記載

 

3.http://seoaccessup.top/?seo/5piew=851530b545a92&&post=staniddard

3.パーマリンクの最初に?が付くURLになります。これが価値のない自動生成ページのURLになります。このURLをrobots.txtでブロックする必要が有ります。上記記載で説明したコードを使用してブロックします。

Disallow: /?*

 サーバーで問題が発生する場合

経験無いので分からないですね。しかし何かしらの兆しが見つかればrobots.txtで対応出来る場合があると言う事をお忘れなく!!

以上で私の場合robots.txtで記載しているコードは以下の様になります。参考にどうぞです。

全てのロボットを対象に
User-agent: *
WordPressのシステムファイルをブロック
Disallow: /wp-admin
価値のない自動生成ページをブロック
Disallow: /?*
サイトマップの通知
sitemap: http://seoaccessup.top/sitemap.xml

 

正しくコードが記述されているかテストする

robots.txtのコード記載が終わったら、そのコードが自分が意図する内容になっているのか?テストする様にしましょう。必須です!!見せたくないページがrobots.txtによってキチンとブロックされている事を確認しましょう。その前にrobots.txtを正しい場所に設置します。

 

robots.txtの設置位置

robots.txtを設置する場所はURLドメインの直下になります。私の場合の設置位置も紹介しておきます。

http://自分のURL/robots.txt

http://seoaccessup.top/robots.txt

階層は絶対にURLドメイン直下になる様にrobots.txtを設置して下さい。

 

テストツールに送信する。

ウェブマスターツールにrobots.txtをテストするツールが用意されているのでそちらを使用します。

ウェブマスターツールログイン後ダッシュボードクロールrobots.txtテスターをクリックします。

 

robots.txtテスター使い方1

robots.txt ウェブマスターツール テスター使い方1

 

robots.txtテスターが表示されれば送信をクリックします。

 

robots.txtテスター使い方2

robots.txt ウェブマスターツール テスター使い方2

 

  1. 更新されたコードをダウンロード
  2. アップロードされたバーションを確認
  3. Googleに更新をリクエスト

上記項目が表示されます。今回使うのは項目3.Googleに更新をリクエストですが、一応全ての項目の説明をしておきます。

更新されたコードをダウンロード

今保存されている(有効である)robots.txtを任意の場所にダウンロードします。使用する事例はrobots.txtを変更する際に使用します。以前アップした記述のrobots.txtがダウンロード出来ますのでそこに新しくコードを追記したり、又は以前のコードを手直出来ます。

アップロードされたバーションを確認

そのままですね、アップロードしたバージョンの確認を行う事が出来ます。バージョンは項目3.Googleに更新をリクエストする度にバージョンが追加されていきます。旧バージョンは最新バージョンが表示されている横の▼ボタンで確認する事が出来ます。

 

robots.txtテスター使い方3

robots.txt ウェブマスターツール テスター使い方3

 

Googleに更新をリクエスト

正しい設置場所にrobots.txtが存在すれば、コードがrobots.txtテスター画面に表示されます。正確にコードが表示されれば成功です。又この作業の際読み込むのに一度違う画面を表示する必要が有る場合があります。

 

robots.txtテスターを使用する

確認する対象のURLを画面下の入力欄に記載します。

対象のロボットを選択します。

テストを押します。

 

robots.txtテスター使い方4

robots.txt ウェブマスターツール テスター使い方4

 

コードの記述に問題が無ければ対象のURLが何処の記述でブロックされているのか?赤字ラインが引かれます。そして最後にクリックしたテストボタンがブロック済みと表示されます。

 

robots.txtテスター使い方5

robots.txt ウェブマスターツール テスター使い方5

 

以上がGoogleが推奨しているrobots.txtの使い方と設置する理由の説明になります。簡単ですね。

 

robots.txt 使い方と設置と必要な項目まとめ

robots.txtの使い方と設置方法と必要な項目の説明をしてきました。ここまで読んで頂いてどうだったでしょうか?正直robots.txtが必要な項目が少な過ぎて設置自体の利点があまりなさそうに思えますが、価値の無い自動生成ページへのクローラーの制御robots.txtの設置はとても大切だと思います。それ以外はGoogleの言うには全て見せる必要が有ります。コードは凄く短い文になりますが必ず設置しましょうね。

 

ここまで読んで頂いてありがとうございます。これからも分かり易いSEOの説明をしていきたいと思いますのでこれからもどうぞ宜しくお願いします。

 

関連記事一覧

5分で出来るウェブマスターツール(サーチコンソール)初期設定
SEO対策検索順位チェックツール GRC凄くお勧めする理由 
最低限必要な2つのSEO対策ツールの使い方 初心者の方必見です
SEO これぞ!!内部リンク効果的な使い方・貼り方・最適化
スポンサーリンク

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です