X-Robots-Tagを使用してインデックス制御やリダイレクトをする方法

2012年12月13日　
カテゴリ：SEO情報

以前、ドメイン移転をしたサイトに対して不自然なリンク警告が引き継がれるかどうか、という実験をした事がありました。
その記事を書いた後から「X-Robots-Tag リダイレクト」といったキーワードでの流入が増えました。

需要もあるのだろう、と思いましたので、X-Robots-Tagについて記事にしておこうと思います。
新しく登場した機能ではありませんが、役に立つ事もあるかも知れません。

METAタグが設置出来ないファイルのインデックスコントロールが可能

PDFファイルなど、METAタグの設置が出来ないがインデックスさせたくないファイルなどが出てくる可能性があります。

そういうファイルのインデックス制御はX-Robots-Tagを使うと簡単に出来ます。
WebサーバにApacheを使用している場合は、.htaccessへ以下の様な記述を行います。

sample.pdfをインデックスさせたく無い場合

<Files sample.pdf> Header set X-Robots-Tag "noindex" </Files>

sample.pdfをインデックスさせずリンク先も辿らせたくない場合

<Files sample.pdf> Header set X-Robots-Tag "noindex,nofollow" </Files>

Header set X-Robots-Tag “noindex,nofollow”
の中の部分はrobots METAタグと同じ内容が記述出来ます。
ですので、unavailable_afterについても使用可能です。

sample.pdfを2012年12月31日0時以降クロールとインデックスを終了させたい場合

<Files sample.pdf> Header set X-Robots-Tag "unavailable_after: 31-Dec-2012 00:00:00 JST" </Files>

※ 試してみたところインデックスから消えるまで約1日のズレがありました。

リダイレクトをさせつつリンクを辿らせない方法

冒頭に書いた不自然なリンクを受けたドメインの移転実験で使用した方法です。
リダイレクトさせるので、ユーザーの取りこぼしは防げますが、nofollow属性を付与する事によりリンク評価を渡しません。

ディレクトリ構造が同じ新ドメインへリンク評価を引き継がないリダイレクト方法

Header set X-Robots-Tag "nofollow" RewriteEngine on RewriteCond %{http_host} ^www.old.com RewriteRule ^(.*) http://www.new.com/$1 [R=301,L]

http://www.old.com から http://www.new.com へ移転する方法です。
ドメイン内のディレクトリ構造などは一切変わらずに移転する時は、この記述を行います。

ページを指定してリダイレクトしリンク評価を引き継がない方法

Header set X-Robots-Tag "nofollow" RewriteRule ^/oldindex\.html$ http://www.new.com/index.html [R=301,L]

oldindex.html から http://www.new.com/index.html へ移転する方法です。
特定のページをリダイレクトする場合はこの記述を用います。

通常のリダイレクト方法に
Header set X-Robots-Tag “nofollow”
を記述しているだけです。
注意点ですが、必要な時以外は基本的に記述しないようにしましょう。
間違えて記述する事でサイトに甚大な影響がある可能性があります。

それと、移転設定を行った後にFetch as Googleで、X-Robots-Tagの送信があるか、を確認しましょう。

補足として.htaccessの生成方法について記載しておきます。
.htaccessはただのテキストファイルです。
テキストエディタで「htaccess.txt」という名前のファイルを作成し(ファイル名は何でも良いのですが)必要な情報を記述してサーバーにアップロードします。
サーバー上で「htaccess.txt」のファイル名を「.htaccess」に変更します。

既にアップロードされている場合は、該当のファイルをダウンロードして追記して下さい。

今回の記事のまとめ

新しく登場した機能では無いのですが、METAタグが記述出来ないファイルのインデックス制御には便利な機能だと思いましたので改めて掘り下げてみました。

マニアックな機能だと思いますが、便利な場合もあるかも知れませんね。
お役に立てれば幸いです。

X-Robots-Tagに関する参考リンク

リダイレクトに関する参考リンク

※本ブログに記載されている情報は、私の見解に基づく場合が多々ございます。
 掲載記事を参考にした事による損害については、その責任を負いかねます。
 自己責任で、掲載情報を参考にして頂ければと思います。

記事の内容は気に入っていただけましたか？
もしも気に入って頂けましたら、下のボタンから共有をお願いします。
共有して頂けますと、運営者がとても喜びます。