Googlebotが長期間サイトにアクセス出来ないとトラフィックが激減する

「Googlebotがサイトにアクセスできません」
ウェブマスターツールに、このメッセージが届いた事のある方は、結構いらっしゃるのでは無いでしょうか？
知人のサイトに、2ヶ月感ほど連続で、このメッセージが届き、その後、検索トラフィックがゼロになる、という事例がありましたので紹介させて頂きます。

Googlebotがアクセス出来ない状態＝サイトが見れない状態と判断される

サーバーメンテナンスなどで、一時的にサイトが見れなくなり、冒頭で紹介した「Googlebotがサイトにアクセスできません」のメッセージが届く事はあります。

それ以外にもGooglebotがアクセスした際に、Googlebotのみがブロックされていたり、サーバーがビジー状態だったり、などなど。
多くの場合、サーバー関連の不具合が原因、という場合が多いでしょう。

これはGoogleからすると、サイトにアクセス出来ない＝サイト内が確認出来ない状況となりますので、確認の為、クロールの頻度を下げて、改めてクロールしようと試みます。
重要な事としては、ブラウザなどでアクセス出来ていても、Googlebotがアクセスできなければ、そのサイトは見れない状態だ、と判断されてしまう事です。

ブラウザから見て問題ないな、と安心するのは危険な可能性もありますので、実際にGooglebotからどう見えているのか？をウェブマスターツールから確認する事をお勧め致します。

Fetch as Googleを使用する事で、実際にGooglebotがアクセス可能か？
そもそも、自分のサイトがどうやって見えているのか？を確認する事が出来ます。

以前、記事に書いた事例ですが、ブラウザの表示は問題無かったがGooglebotからは文字化けして見えていた、という事例を紹介しました。

よくあるメッセージも長期間放置するとトラフィックが激減する

たまたま、1度だけGooglebotがアクセス出来なかったくらいでは何の問題もありませんが、例えば1ヶ月とか2ヶ月、Googlebotがアクセスする度に、このエラーが出ていた、としましょう。
今回紹介する事例は、その状況になったサイトの検索トラフィックです。
最初に結論を書いた通り、検索トラフィックがゼロになりました。
ユーザー側からは見えていても、Googlebotがアクセス出来ないサイトは「閲覧不可能」なサイト、とされてしまうのです。
しかも、クロール頻度を抑えてアクセスしたのに、何度も同様の状況が続いたので、サイトが停止している、と思われたのでしょう。

今回のサイトの事例はゲームの攻略サイトで、ゲーム名で調べると公式サイトの次の順位で表示されていました。
他の攻略サイトと比較しても、かなり評価されていたと思います。

2012年11月30日から「Googlebotがサイトにアクセスできません」のメッセージが届き、10日に1回くらいのペースで、同様のエラーが届いています。

サイトのメンテナンスが出来ず、気付いた時にはトラフィックが激減したそうですが、サーバーの問題が解決後、すぐにトラフィックが回復しています。
1月8日にも、1度トラフィックがゼロに近い水準まで低下していますね。。

人間とクローラーは全く別のものですので、ウェブマスターツールにメッセージが来ていても、ブラウザからは問題なく見えるから安心だ、と考えるのは危険な場合があるな、と改めて思いました。

今回、紹介したサイトは、一時的に検索結果から消えたそうなのですが、Googlebotがアクセス出来る様になった直後から、メインのキーワードに関しては元の順位で復活したそうです。
検索トラフィックを見ると、割と急激に減って、すぐに元の水準近くまでトラフィックが回復していますよね。

何らかの理由(誤ってインデックスを消去してしまったり)で検索結果から一旦消えたサイトは、その問題の改善後、緩やかに順位やトラフィックが戻るイメージがあったのですが、今回の様に割とすんなり回復する事もあるんだな、と思いました。
警告を受けたりしていないので、当然と言えば当然とも言えますが。

今回の記事のまとめ

あまり気にし過ぎても、サイト管理が大変になりますが、放置し過ぎは、やはり危険です。
目視でのサイトチェックも大切ですが、SEOを考慮する以上、定期的なクローラビリティチェックも欠かさずに行いたいですね。

最近のGoogleは、ウェブマスターツールに積極的にメッセージを送ってくれる様になっています。
このメッセージを確認する事はもちろんですが、インデックスステータスや、クロールエラーも確認する様にしておきましょう。
先ほども紹介した「Fetch as Google」を活用し、Googlebotがアクセス出来ているか、正しく表示されているか、も確認したい所ですね。

今回の件とは異なりますが「マルウェア」に感染しているサイトも検索結果からは除外されます。
日頃からパスワードの管理にも注意しましょう。

ページをインデックスさせる事と、クローラビリティを意識する事はSEOの基本です。
ユーザーには質の良いコンテンツを、Googlebotには、スムーズなクローリング可能な環境を提供してSEOをより良いものにしましょう。

※本ブログに記載されている情報は、私の見解に基づく場合が多々ございます。
 掲載記事を参考にした事による損害については、その責任を負いかねます。
 自己責任で、掲載情報を参考にして頂ければと思います。