出典: フリー百科事典『ウィキペディア（Wikipedia）』
NaverBot︵ネイバーボット︶は、ネイバーが過去に使用していたクローラの名称である。
韓国の大手検索エンジンであるネイバーが2005年1月まで使用していた、Web文書収集目的のクローラーである。2005年以降は使用されなくなり、Yetibotという新しいクローラーが使用されるようになった。
NaverBotは、当初は韓国語のサイトを中心にアクセスしていた。しかし、ネイバーが日本での事業を開始した2000年以降は日本語ウェブサイトにアクセスする機会が増え、日本でも知られるようになった。
日本では、国際基準への対応不備などの問題が一部のWebサイト管理者らに指摘され、アクセスを拒否するサイトも見られた。これに対して、ネイバー側は公式のコメントを出してはいないが、後継のクローラー︵YetiBot︶では当時指摘された以下のような問題はすべて解決されている。[1]
●主な指摘
●秒間隔で次々リクエストを行うため、DoS攻撃のようにサーバーを不安定にさせる。
●全てのディレクトリに対し、default.htm, default.html, home.php等インデックスに使われそうな名前のページを、ページの有無を確認せずにリクエストする。
●セッションを識別せず、同じURLに対してセッションだけ変えて何度もリクエストを行う。
●サイト管理者が用意するrobots.txt︵クローラのアクセスを制御するファイル︶を読み込みながらも無視。あるいは、robots.txtを短時間に何度も読み込む。
●HTMLのMETAエンティティを使ったロボットのアクセス制御を無視する。
●HTTPリクエストのUserAgentフィールドを次々に変える。変名はNABOT/5.0、nhnbot、minibot(NaverRobot)、dloader(NaverBot)、nabot、Cowbot、NaverBot-1.0+(NHN+Corp.+/++82-2-3011-1954+/+nhnbot@naver.com)等さまざまな名前が確認されている。また、robots.txtへのアクセス時にGoogleのクローラGooglebotに似たGoogleBotというユーザーエージェント名を用いたことも確認されている。
関連項目[編集]
●Yetibot
関連サイト[編集]
●ネイバー︵韓国語︶
●NAVERヘルプセンター︵日本語︶
●YetiBot@Naver.com対策
脚注欄[編集]
