【クローラーの巡回頻度】アクセス数のうち、クローラーボットが占める割合を解析してみた

ブログ
ブログには、Googleなどのクローラーボットがアクセスしてくる。(*1)
  • Googleなどの検索エンジンのクローラーは、どのくらいの頻度で巡回してくるのか?
  • ブログのアクセス数の何%くらいがクローラーボットのアクセスによるものなのか?

最近、これらを調べる機会があったので、解析してみた。
結果は、結構ビックリする内容だった。

解析結果を紹介する。

スポンサーリンク

クローラーボットとは

検索結果のリスティングの順序付け

Googleなどの検索エンジンは、検索語を含むウェブページをリストアップしてくれるサービスである。
たとえば、「ラスベガス バフェ」と検索すると、ラスベガスのバフェ(バイキングレストラン)に関するホームページがリストアップされる。

ただし、ラスベガスのバフェについてのホームページと言っても、レストラン・ランキングのページもあれば、1軒だけレビューするブログ記事もある。たまたま文章中に「ラスベガスではバフェ・レストランで食事した。」という一文が入ったページもあるだろう。
その中で、どのページが検索したユーザーに有用であるかを見極め、役立ちそうなページを上位に表示するのがよい。
そういう意味では、上の例でいえば、たまたま「ラスベガス」と「バフェ」という言葉を含む1文が出て来るだけのページよりは、ランキングやレビュー記事のホームページの方が、上位に表示されるべきである。

クローラーボットとはインターネットを巡回するAIソフトウェア

Googleなどは、クローラーボットにネット上のホームページを読ませている。(*2)

こうした判断をするために、Googleではボット(たぶんロボットが語源なのだろう。AIー人工知能ーを使ったソフトウェア)にホームページを読ませ、そのページの内容を評価させているということである。
ボットが評価した結果を比べながら、「ラスベガス バフェ」を記述している複数のホームページに優劣をつけ、その順に並べて検索結果を表示するわけである。

これを実現するためには、ボットはインターネット上のいろいろなホームページを、くまなく読んでおく必要がある。
時には、新しいホームページに秀逸な記事が出るかもしれないし、旧記事も書き足されて前よりもずっと優れた記事にアップデートされるかもしれない。
だから、ボットはインターネット上の、新旧記事の動向を見張る必要がある。

実際に、ひっきりなしにインターネット上の記事を巡回して読み、評価を頻繁に更新し続けているわけだ。
クローラーは英語でcrawler。這い回る爬虫類を指す言葉だが、ボットが巡回しているのを這い回っているとイメージしたのだろう。

というわけで、ネット上を巡回し、いろいろなホームページを読んで評価し続けているのがクローラーボットである。

Googleアナリティクスでのボットの扱い

アクセス解析は、Googleアナリティクスを使用する人が多いと思う。

アナリティクスでのデフォルト設定では、以下スクリーンショットの右欄のように、ボットのアクセスは除外してアクセス解析する。

除外しないように変更できるが、私はやったことがない。

ボット巡回に関する解析

ここでは、本ブログの前身であるGooブログのアクセス解析をし、同ブログにどれだけクローラーボットが来ていたのかを考察する。

解析には、Gooブログ編集画面のアクセス解析のデータを使用する。

本サイト前身のGooブログについて

私は、本サイトを立ち上げる前までは、Gooでブログを書いていた。
以下のサイトである。

旅行記。プエルトリコ、ニューオリンズとラスベガス。 (ひねもすのたり)
家族で行った旅行のことを中心に、日常のなかで感じたことなども書いています。【旅行記。プエルトリコ、ニューオリンズとラスベガス。 (ひねもすのたり) 】

本サイトは、このGooブログから現在、記事を一個一個移転しながら書き続けている。
Gooブログからワードプレスへ記事を移転するやり方については、以下の記事に書いたので、興味があったら参考にしていただけると幸いです。

そして、この記事でも述べたが、移転のためにGooブログの記事をバックアップするにあたり、Gooブログを有料会員にアップグレードした。

Gooの有料会員になると、これまで使用できなかったアクセス解析を利用でき、アクセス元の情報なども取得できたため、ボット巡回の頻度を解析することができるようになった。

ブログへのユーザーアクセス数とPV数

私のGooブログの2021年1月のアクセス数を以下に示す。

集計期間2021年1月
閲覧数(PV)8,838
訪問者数(UU)5,319

UU(Unique User)は期間内にアクセスしたユーザー数。
PV(Page View)は同じユーザーが複数のページを閲覧しても複数としてカウントする場合のページ閲覧数である。
数字はGooブログのレポートから取ったものだ。

このアクセス状況は無料会員のままで見ることが出来たので、月間に1万PV近く閲覧数がある‼と思っていたのだが...。

クローラーボットによるアクセス数の解析

2021年のブラウザ別アクセス数

今度は、同じ2021年1月のPVを、閲覧者のブラウザごとにまとめたのが次の表である。

前節で8,838だった総PVがこちらでは7,186と、2割近く少なく集計されている理由は、わからなかった。集計の条件が多少異なるのかもしれない。

7,186 PVのうち、63%の4,519 PVがGooglebot、17%にあたる1,190 PVがAppleボットによるアクセスである。

私が気が付く限りのクローラーボットを表では赤い文字背景で示しているが、実に80%がボットによるPVだったことが判明した。

順位ブラウザ閲覧数(PV)割合(%)
1Googlebot451962.88617
2Applebot119016.55998
3iPhone/iPod4185.816866
4Chrome4005.566379
5Android1942.699694
6Safari1452.017812
7NAVER1311.822989
8Firefox791.09936
9Internet Explorer 11.x320.44531
10Microsoft Edge280.389647
11Bingbot220.306151
12iPad130.180907
13Yahoo! Slurp90.125244
14Internet Explorer 8.x20.027832
15Internet Explorer 10.x10.013916
16Twitterbot10.013916
17Internet Explorer 9.x10.013916
18Sleipnir10.013916
Total7186100

ボットアクセス頻度の月ごとの違い

前小節では、2021年1月のデータを解析した。

2020年12月のデータも見ることが出来たので、それぞれの月のボットPVを次表にまとめた。

2020年12月2021年1月
PV(閲覧数)割合(%)PV(閲覧数)割合(%)
BOT606877.2574179.9
ユーザー179722.8144520.1
Total7865100.07186100.0

12月も1月も、まだ移転作業を開始する前のことだったから、ブログ自体は普段の月と大きく変わった状況はなかったと思う。

解析結果の方もあまり大きく変化はなく、ユーザーによるPVが1,500前後で2割ほど変動し、全体のPV数も1割ほど変化したものの、ボットのPVが80%ほどで安定していた。

ユーザーのPVと比べてボットによるPVは4倍もあった。
また、ボットによるPVは月間6,000回だったから、一日当たりだと200回ページも巡回していたことになる。

まとめ

検索エンジンのクローラーボットについて、その巡回頻度について解析してみた。

  • 本サイトの前身のGooブログのアクセス解析をした。
  • ユーザーによる月間PVは1,500前後なのに対し、ボットのPVは6,000ほど。ユーザーの閲覧の4倍もボットが巡回していた!!
    ボットによるPVは、一日当たり200もあった。
  • ボットによるPVの内訳は、Googlebotが80%、Applebotが20%ほど。これらボットのほかに、PV数ははるかに少ないがBingbot、YahooSlurp、Twitterbotも巡回していた。

もちろん、他のサイトによってボットPVの割合が大きく異なるかもしれない。

ただ、アクセス統計の取り方によっては、表示されるアクセスの大半がボットによるアクセスであるということもあるのだということは、意外な結論だった。

コメント

タイトルとURLをコピーしました