ロボット排除プロトコル（REP）とは？――メタタグやrobots.txtの基礎 | Web担当者Forum
HTTPヘッダーとは、ウェブサーバーがウェブブラウザなどのクライアントに対してデータを送る前に送信する情報のことで、通常はブラウザには表示されない。 多くの場合、HTTPレスポンスコード、コンテンツの種類︵HTMLなのかPDFなのかなど︶、コンテンツのサイズ、最終更新日付などの情報が含まれている。 HTTPヘッダーの内容は基本的にHTMLページの記述などでは変更できず、サーバーの設定や出力プログラムの設定によって変更できる。ただし、HTMLページ内の﹁meta http-equiv﹂のタグによって、HTTPヘッダーで指定する情報を記述でき、ほとんどのウェブブラウザがmeta http-equivの情報を解釈する。 そして2005年に登場したサイトマッププロトコルでは、︵XML︶サイトマップを通じて大量のコンテンツを検索エンジンに登録する手続きが定義されている。 また2005年には﹁rel=
