Googleクローラーが急に来なくなった!?

約1週間ぶりの更新となります。

先週までは毎日とまではいかないまでも、2・3日に何かしらの記事をUPしていたのですが、今週それを行わなかったのには訳があります。

その訳とは・・・

Googleクローラーが急に来なくなったためです。(汗)

このため、今週1週間かけて、原因を調査したり、色々対策してみたりと大忙しとなり、記事のUPができませんでした。(泣)

ネットでこの事象を検索してみると、FC2ブログでは割とメジャーなトラブルだそうで。
無料ブログとは言え、そんなに頻発しているならさっさと対策してほしいものですが・・・(呆)

当ブログを立ち上げて約2ヶ月ぐらいになりますが、先々週ぐらいまでは毎日「crawl-XX-XXX-XX-XX.googlebot.com」君が数回ずつぐらい勝手に来てくれていましたが、ある日を境に一切来なくなりました。

巡回頻度が少しずつ減っていくのではなく、いきなり0回になったのです。

で、数日間は放置しつつ、Search Consoleの「Fetch as Google」から、手動でクロール依頼を毎日コツコツしていました。
ですが、その作業もさすがに面倒くさくなってきたので、1週間を棒に振ってでも本格的に対策をすることにしたのです。


スポンサーリンク


1.Googleからの警告メッセージの確認

Googleに「質の低いサイト」として判定されると、クローラーが来なくなると同時に、Search Consoleに警告メッセージが届くようです。
ですが、私のもとには警告メッセージは来てませんでした。

とりあえず、一安心。


2.サイトマップの確認

Search Consoleよりサイトマップを見てみると、処理日が「保留」となっていました。
一応、「サイトマップを再送信」からsitemaps.xmlを送信してみましたが、結果は変わらず「保留」のままでした。


3.HTMLに対する警告

Search Consoleの「HTMLの改善」を見てみると、
 ・重複するメタデータ(descriptions) : 115件
 ・タイトルタグの重複 : 77件
となっていました。

FC2ブログの場合は、この値をゼロにすることは不可能に近いらしく、ある程度警告として件数がカウントされるのは仕方が無いとのこと。

ただ、上記の件数程度であれば、全然問題になるほどではないそうですが・・・気持ち悪いので、比較的簡単にできそうな対策だけでもやってみることにしました。

①FC2ブログの管理画面より、「テンプレートの設定」⇒「HTML CSSの編集」でHTMLを開き、以下の記述のところに行きます。
 <meta name="description" content="<%introduction>" />

②上記記述について、下記のように書き換えます。
 <!--index_area--><meta name="description" content="<%introduction>" />
 <!--not_index_area--><meta name="description" content="「<%sub_title>」" />

この対策の意味としては、トップページのみサイトの紹介文を検索結果に表示し、その他のページについてはサブタイトルを表示する、というものになります。

元々は、トップページ以外についても、検索結果に必ずサイトの紹介文が表示される状態だったので、「内容をコピったページを量産してんじゃねぇか?」とGoogleに判定されていたことになります。
これが、「重複するメタデータ」ということになり、警告ページとしてカウントされていたわけなので、トップページ以外はサイト紹介文を表示しないようにすることで、この件数を減らす試みです。


4.もっかいサイトマップを再送信

HTMLの改善をやった後、待てど暮らせどクローラーは来てくれません。
とりあえず、試しにもう一度サイトマップを再送信してみました。

結果は、やはり処理日が「保留」のまま。
やはりダメか・・・と諦めかけた、その時!!

クローラー君が巡回してくれるようになりました。(泣)
※すいません、実際には「その時」ではなく、翌日ぐらいから来てくれるようになりました。(笑)

サイトマップは依然として「保留」のままですが、まぁ良しとしましょう。


ただ、次またいつ同じことが起こるか、気が気じゃありませんが。(汗)

還元率の高いポイントサイトで、ハイペースでポイントが貯まります ポイントサイトのポイントインカム

獲得ポイントの高いアンケートサイトで、効率的にポイントが貯められます infoQ新規会員登録

Googleクローラーの不安定な動きに右往左往

約10ヶ月ほど前に当ブログを立ち上げて間もなく、Googleクローラーが突然来なくなったことがありました。

※過去記事はコチラ。
  Googleクローラーが突然来なくなった!?

原因は今でも良く分かりませんが、あのときはとりあえずSearch Consoleの「HTMLの改善」を参考に、タイトルの見直しなどを行ってしのぎました。

ちなみに、この対策後にサイトマップを送信しましたが、クローラーが再び来るようになった後もずっとサイトマップは『保留』のまま月日が流れていきました。
が、3月に入ってSearch Consoleからたまたまサイトマップの状態を見てみると、何故か処理日が2月20日となっており、保留状態が解消されていました。

本当に基準が良く分かりませんが、まぁこれでGoogleからの濡れ衣に近い疑いも晴れたということで、クローラー完全復活か?と安心していました。
実際、1日あたりのクローラーの件数も10~30件ぐらいで安定していましたし。

ところが・・・
その後、Search Consoleで「検索アナリティクス」を日々確認していると、何やらおかしな事になっていることに気付きました。

平均掲載順位が、みるみる下がっていったのです。(汗)

1日に0.5位ずつ低下していくぐらいのペースだったでしょうか。。。
なので、2月までは平均掲載順位が20位ぐらいだったのが、3月後半頃には40位近くまで下がってしまいました。

Google先生、私何か悪いことしましたっけ?(焦)

スポンサーリンク


前回同様、今回もGoogleから警告メッセージなどは何も来ていません。
HTMLも前回改善したからもう出来ることは何も無いですし、これ以上何をしろと?
またFC2ブログ特有の、Google村八分的なやつでしょうか・・・

何も有効な対策は思いつかないまま、3月も終わって4月に入りました。

すると、ついにはクローラーすら来なくなってしまいました。

さすがにこれはヤバイ・・・のですが、やはり対策は何も打てず。
そうこうしているうちに、クローラーが来ないまま3日が経過しました。

この間も、当然のように掲載順位は低下する一方。
しかも、サイトマップの状態を見てみると、またもや『保留』に戻っていました。
しばらく見てなかったので、一体いつから保留状態になっていたのかは分かりません。

これが原因かもしれないので、試しにサイトマップを送信してみました。
・・・が、状態は相変わらず保留のまま。

サイトマップ送信後は3日間ぐらい様子を見るべしとの情報をどこかのサイトで読んだことがありましたので、とりあえず数日様子を見てみることにしました。

そして3日後-

クローラーがたんまり来るようになりました。(喜)

さらに、平均掲載順位も少しずつ回復してくるようになりました。
サイトマップはやはり『保留』のままですが・・・

なんかもう、訳が分からないですね。
こまめにサイトマップの送信をやれってことでしょうか?
ちなみに、サイトマップの送信は、去年の10月にこの問題が発生した際に実施して以降、今回の事象が出るまで約半年間はやっていませんでした。

とりあえず、今後はブログを更新したタイミングで、毎回サイトマップを送信してみることにします。
これで問題が再発するようなら、また別のところに原因があるという判断ができますし。


還元率の高いポイントサイトで、ハイペースでポイントが貯まります ポイントサイトのポイントインカム

獲得ポイントの高いアンケートサイトで、効率的にポイントが貯められます infoQ新規会員登録

またもやクローラーゼロの日々に突入

またもや恒例のお祭りの時期がやって参りました。

FC2ブログお得意の、crawl-XX-XXX-XX-XXX.googlebot.comゼロ祭りです。

※過去記事はコチラ。
  Googleクローラーが突然来なくなった!?
  Googleクローラーの不安定な動きに右往左往

前回発生してから約3ヶ月といったところです。
前回はなんとなくサイトマップを再送信してみたらクローラーが来るようになり、その後は記事をアップする度に試しにサイトマップを再送信してきましたが、やっぱり関係無かったみたいです。(泣)

ちなみに、先月の27日までは、毎日100件程度のクロールがありました。
それが、28日には一気に42件にまで落ち込み、「これはもしかして・・・」と嫌な予感がしていました。

すると、予想通り29日にはいきなり0件になり、その後は現時点でもゼロ行進が続いています。

この間、サイトマップもちょくちょく再送してみたり、Fetch As Googleでクロール依頼をしてみたりしてますが、改善の兆しもありません。
スポンサーリンク


最近、ブログを始めるときに、ケチらずに独自ドメインを取得しておいた方が良かったなぁ・・・と若干後悔しています。

今からFC2をやめて独自ドメインにするとしても、100を超える記事を移行するのがかなりの手間です。
最初にブログを始めるときは、大して何も調べずにとりあえず後で考えればいいか、と軽く考えていましたが。。。

何でも、無料ブログだと自分のせいだけでなく、他人のブログがクローラーからどう評価されているかも影響を受けるのだとか。
例えば、当ブログのドメイン「syanaise2tensyoku.blog.fc2.com」のように『fc2.com』に属している状態だと、『fc2.com』に属する全てのブログが評価対象になるため、低評価を受けたブログがあると当ブログも芋づる式に低評価の扱いになってしまうことがあるらしいです。

これが事実なら何ともはた迷惑な話です。
おまけに、対策のしようもありません。

でも、私のブログのせいで他の人のブログに迷惑をかけたことがあるかもしれないので、あまり批判できる立場ではありませんが。(汗)

あぁ・・・今回もまた嵐が過ぎ去るのを、ただじっと待つしかないというのでしょうか・・・ ○| ̄|_

還元率の高いポイントサイトで、ハイペースでポイントが貯まります ポイントサイトのポイントインカム

獲得ポイントの高いアンケートサイトで、効率的にポイントが貯められます infoQ新規会員登録
プロフィール

Author:たみおと
36歳にして社内SEに転職しました。
ベンダーSE・社内SEどちらの方が記事を読んでも、ご参考になる体験談をUPしていきたいと思っていますので、宜しくお願い致します。

検索フォーム
ブログランキング
よろしければ、ポチっと一押しお願いします。m(__)m

ブログランキング・にほんブログ村へ
カテゴリ
よく読まれている記事
最新記事
おすすめ書籍
[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

なぜ、システム開発は必ずモメるのか? [ 細川義洋 ]
価格:2160円(税込、送料無料) (2016/11/7時点)



[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

絵で見てわかる RPAの仕組み (絵で見てわかる) [ 西村 泰洋 ]
価格:2786円(税込、送料無料) (2018/7/30時点)



月別アーカイブ
リンク