Googleクローラーが急に来なくなった!?

約1週間ぶりの更新となります。

先週までは毎日とまではいかないまでも、2・3日に何かしらの記事をUPしていたのですが、今週それを行わなかったのには訳があります。

その訳とは・・・

Googleクローラーが急に来なくなったためです。(汗)

このため、今週1週間かけて、原因を調査したり、色々対策してみたりと大忙しとなり、記事のUPができませんでした。(泣)

ネットでこの事象を検索してみると、FC2ブログでは割とメジャーなトラブルだそうで。
無料ブログとは言え、そんなに頻発しているならさっさと対策してほしいものですが・・・(呆)

当ブログを立ち上げて約2ヶ月ぐらいになりますが、先々週ぐらいまでは毎日「crawl-XX-XXX-XX-XX.googlebot.com」君が数回ずつぐらい勝手に来てくれていましたが、ある日を境に一切来なくなりました。

巡回頻度が少しずつ減っていくのではなく、いきなり0回になったのです。

で、数日間は放置しつつ、Search Consoleの「Fetch as Google」から、手動でクロール依頼を毎日コツコツしていました。
ですが、その作業もさすがに面倒くさくなってきたので、1週間を棒に振ってでも本格的に対策をすることにしたのです。


スポンサーリンク


1.Googleからの警告メッセージの確認

Googleに「質の低いサイト」として判定されると、クローラーが来なくなると同時に、Search Consoleに警告メッセージが届くようです。
ですが、私のもとには警告メッセージは来てませんでした。

とりあえず、一安心。


2.サイトマップの確認

Search Consoleよりサイトマップを見てみると、処理日が「保留」となっていました。
一応、「サイトマップを再送信」からsitemaps.xmlを送信してみましたが、結果は変わらず「保留」のままでした。


3.HTMLに対する警告

Search Consoleの「HTMLの改善」を見てみると、
 ・重複するメタデータ(descriptions) : 115件
 ・タイトルタグの重複 : 77件
となっていました。

FC2ブログの場合は、この値をゼロにすることは不可能に近いらしく、ある程度警告として件数がカウントされるのは仕方が無いとのこと。

ただ、上記の件数程度であれば、全然問題になるほどではないそうですが・・・気持ち悪いので、比較的簡単にできそうな対策だけでもやってみることにしました。

①FC2ブログの管理画面より、「テンプレートの設定」⇒「HTML CSSの編集」でHTMLを開き、以下の記述のところに行きます。
 <meta name="description" content="<%introduction>" />

②上記記述について、下記のように書き換えます。
 <!--index_area--><meta name="description" content="<%introduction>" />
 <!--not_index_area--><meta name="description" content="「<%sub_title>」" />

この対策の意味としては、トップページのみサイトの紹介文を検索結果に表示し、その他のページについてはサブタイトルを表示する、というものになります。

元々は、トップページ以外についても、検索結果に必ずサイトの紹介文が表示される状態だったので、「内容をコピったページを量産してんじゃねぇか?」とGoogleに判定されていたことになります。
これが、「重複するメタデータ」ということになり、警告ページとしてカウントされていたわけなので、トップページ以外はサイト紹介文を表示しないようにすることで、この件数を減らす試みです。


4.もっかいサイトマップを再送信

HTMLの改善をやった後、待てど暮らせどクローラーは来てくれません。
とりあえず、試しにもう一度サイトマップを再送信してみました。

結果は、やはり処理日が「保留」のまま。
やはりダメか・・・と諦めかけた、その時!!

クローラー君が巡回してくれるようになりました。(泣)
※すいません、実際には「その時」ではなく、翌日ぐらいから来てくれるようになりました。(笑)

サイトマップは依然として「保留」のままですが、まぁ良しとしましょう。


ただ、次またいつ同じことが起こるか、気が気じゃありませんが。(汗)

還元率の高いポイントサイトで、ハイペースでポイントが貯まります ポイントサイトのポイントインカム

獲得ポイントの高いアンケートサイトで、効率的にポイントが貯められます infoQ新規会員登録

コメントの投稿

非公開コメント

プロフィール

Author:たみおと
36歳にして社内SEに転職しました。
ベンダーSE・社内SEどちらの方が記事を読んでも、ご参考になる体験談をUPしていきたいと思っていますので、宜しくお願い致します。

検索フォーム
ブログランキング
よろしければ、ポチっと一押しお願いします。m(__)m

ブログランキング・にほんブログ村へ
カテゴリ
よく読まれている記事
最新記事
おすすめ書籍
[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

なぜ、システム開発は必ずモメるのか? [ 細川義洋 ]
価格:2160円(税込、送料無料) (2016/11/7時点)



[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

絵で見てわかる RPAの仕組み (絵で見てわかる) [ 西村 泰洋 ]
価格:2786円(税込、送料無料) (2018/7/30時点)



月別アーカイブ
リンク