インターネットアーカイブ
WWW・マルチメディア資料のアーカイブ閲覧サービスとして有名なウェイバックマシンを運営している団体
（Internet Archiveから転送）
インターネットアーカイブ[注 1] (Internet Archive) は、WWW・マルチメディア資料のアーカイブ閲覧サービスとして有名なウェイバックマシン (Wayback Machine)[注 2]を運営しているアメリカの団体である。本部はカリフォルニア州サンフランシスコのリッチモンド地区に置かれている。
 | |
| URL |
archive |
|---|---|
| 言語 | 英語 |
| タイプ | 電子図書館 |
| 運営者 | ブリュースター・ケール |
| 営利性 | 非営利 |
| 開始 | 1996年 |
設立の理念
編集
アーカイブは1996年にブリュースター・ケールによって設立された。公式サイトによれば、その使命は以下のとおりである:
大抵の社会はその文化、歴史遺産の保存を重視している。そのような資料が無ければ、文明はその成功または失敗から学ぶための手段も記憶も持てない。我等の文化は現在電子形態での資料を大量に生産している。アーカイブの使命は、これらの電子資料の保存を支援し、研究者・歴史家・学界のためのインターネットライブラリを構築することにある。アーカイブはアメリカ議会図書館やスミソニアン博物館などの他機関との恊働も行う。 — インターネットアーカイブ 公式サイト
人類の知識と遺産を保存してそのコレクションを公開するというその目標からか、アレクサンドリア図書館に例えられることもある。
ウェイバックマシン
編集詳細は「ウェイバックマシン」を参照
ウェイバックマシン (Wayback Machine)[注2]はインターネットアーカイブが保存するウェブアーカイブを閲覧することのできるサービスである。インターネットアーカイブのもっともよく知られたサービスの一つであり、ときに﹁インターネットアーカイブ﹂がウェイバックマシンと同義に使われることもある他、﹁ウェイバックマシン﹂がその背景のWebクローリングを含んだ意味で使われることもある。ウェイバックマシンを使えば、ウェブページが保存された時点の状態を閲覧することができ、また﹁Save Page﹂にURLを貼り付けることで、そのページをその場でインターネットアーカイブのウェブアーカイブに保存できる。インターネットアーカイブはウェイバックマシンの技術を﹁3次元インデックス﹂と呼んでいる。
ウェイバックマシンで閲覧可能なウェブアーカイブは、1996年のサービス開始当時はアレクサ・インターネットから提供されたデータが元であったが、インターネットアーカイブは2010年後半から独自の大規模Webクローリングを開始し、現在では自身で収集したデータが半分以上を占める。以前はデータ収集から公開まで半年から一年かかっていたが、独自のWebクローリングと2013年の技術革新により、数時間から一日で公開されるようになった。また﹁Save Page﹂で保存されたものは即時に閲覧可能である。
ウェイバックマシンが保持しているデータ量は、2001年時点ではおよそ100テラバイトに過ぎなかったが、2004年時点で1ペタバイトに達し、月に20テラバイトの割合で増加を続けている。2003年に報告された増加率は月あたり12テラバイトであったので、1年でおよそ倍の速度になった。これは、議会図書館など世界最大規模の図書館の文書量をはるかに上回るものである。そして2012年にはデータ総量は10ペタバイトを超えた[3]。保存されたウェブページ数[注3]では、2022年10月現在で7400億を超え[5]、一か月あたりおよそ140億ページの割合で増加中である[5][6]。このデータのコピーは新アレクサンドリア図書館にも保存されている。
ウェイバックマシンの過去のページの再生表示は、様々な理由により不完全であることがある。例えば、アレクサ・インターネットから提供されるデータにはHTMLファイルしか含まれていないため、2010年以前のアーカイブはページの画像などが表示されないものが大半である。またWebクローリングの技術的制約により、Webページの再生に必要なデータ全てが収集されないことや、Webページの再生表示技術の制約などによりページ表示が正常に行われないことなどは、特に最近の高度に動的なWebページではよく見られる。また、ウェブページを構成するスクリプトや画像などの部品はページのHTMLと同時点で収集されたものとは限らず、1年以上の時間差があることも稀ではない。さらに、いったん収集されたWebアーカイブが、関係者の要請やrobots.txtの配置によりウェイバックマシンから取り除かれることもある。
﹁ウェイバックマシン﹂という名称は﹁ロッキーとブルウィンクルの大冒険﹂の一シーンからとられた。このアニメシリーズは学者風の蝶ネクタイをした犬のピーボディ先生と人間の助手シャーマンが﹁ウェイバックマシン (WABAC machine)﹂と呼ぶタイムマシンを使って歴史上の有名な事件にちょっかいを出すというコメディアニメである。
公的な保存とは別途、個人のレベルでも、特定の個人がインターネット上に運営していたWebサイト、Blogを個人の死後も管理、保存することがどのようにして可能か、といった話題もWeb Magazine、Web ニュースなどに出てくるようになった。保険会社などが遺言の執行と合わせて、こうしたサービスを行っているようなものはないが、難病での闘病生活をおくった人のドキュメントやさまざまな公益的で共有すべき内容を持ったもの︵人権、環境、社会問題、女性、健康と福祉、情報公開、特殊な個人的体験など︶、オンラインソフトウェアの開発サイトなどが、関係者によって保存、維持されている例はある。こうしたものには、Webサイトを保存しているものと、故人を追悼するためのものとが混在している。
著作権
編集ウェイバックマシンは米国著作権法のフェアユース規定にもとづいてウェブアーカイブを構築している[7]。後述の「インドからのアクセス遮断」のようにフェアユースに該当するとは思えない情報（営利目的の情報など）の収集も行っているのが実態である。
著作権侵害によるインターネットアーカイブに対する訴訟
編集ウェイバックマシンは目的の性質上、フェアユースが成立しているが、2020年にアシェット、ハーパーコリンズ、ワイリー、ペンギン・ランダムハウスなどの出版社が著作権侵害によりインターネットアーカイブを提訴した[8][9]。
Recall サーチエンジン
編集またInternet Archiveのデータベース的側面としては、現在の特定URLを必要とする形以外のアクセス方法として、2003年9月、Internet Archiveに保存されたウェブページ全体を対象にした検索エンジン「Recall」のベータ版が公開された。検索した単語の頻度をグラフ化して表示する機能があり（2byte文字は未対応）、ネットワーク上の流行調査などに有益なものだったが、2004年9月中旬に停止した。これは「Recall」の開発者であったAnna Pattersonがプロジェクトから離れたためである。Internet Archiveのフォーラムでは新たな検索システムの構築を望む声が多くあがっており、動向が注目される。
アプリケーションプログラミングインタフェース
編集ウェイバックマシンはWebブラウザを使ったウェブアーカイブの閲覧だけでなく、アプリケーションプログラミングインタフェースも提供している[10]。2015年時点では、
- Wayback Availability JSON API
- Memento API
- Wayback CDX Server API
がある。
コレクション
編集オープンライブラリ
編集インターネットアーカイブはオープン・ライブラリの運営も行っている。ここではいくつかのスキャンしたパブリックドメイン書籍が容易に閲覧、印刷ができる形式で入手可能である。
動画像コレクション
編集
商用映画に加え、動画像コレクションには以下のようなものがある。
ニュース映画コレクション、昔のアニメ︵カートゥーン︶コレクション、戦争映画・反戦映画などのプロパガンダコレクション、Skip ElsheimerによるA/V Geekコレクション、プレリンガー・アーカイブズによる短編ものコレクション︵広告用、教育用、工業用などや家庭用の動画コレクション︶
ブリックフィルムコレクションにはレゴによるストップモーション・アニメーションがあり、中には映画のリメイクものをしているものもある。Election 2004 ︵2004年選挙︶コレクションは、2004年アメリカ合衆国大統領選挙に関連する動画資料を中立の立場からまとめた資料である。Independent NewsコレクションにはインターネットアーカイブのWorld At War competition from 2001︵歴史的事物へのアクセスの重要性を示すための短編映画コンテスト︶のようなサブコレクションもある。最もダウンロードされたビデオファイルは、2004年のスマトラ島沖地震の惨禍をとらえたものとなっている。
インターネットアーカイブには以下のような映画が1,500本前後存在する:
- 『戦艦ポチョムキン』
- 『国民の創生』
- 『M』
- 『散り行く花』
- 『ヒズ・ガール・フライデー』
- 『愛のアルバム』
- 『復活の日』
- 『ナイト・オブ・ザ・リビングデッド』
- 『吸血鬼ノスフェラトゥ』
- 『プラン9・フロム・アウタースペース』
- 『リーファー・マッドネス』
- 『三十九夜』
- 『スタア誕生』
- 『ジェーン・エア』 Jane Eyre
en:Special:WhatLinksHere/Template:Internet_Archive_film （英語）を参照。
論争
編集サイエントロジーサイト
編集2002年後半に、インターネットアーカイブはサイエントロジーの批判サイトをいくつもウェイバックマシンから削除した[12]。ウェイバックマシンのエラーメッセージには、この削除は「サイトオーナーの要望による」との文言が載せられていたが[13]、後に明らかになったところによればサイエントロジー教会の弁護士が削除を要求したものであった。この削除要求の法的根拠は不明であり、実際のサイトオーナー自身が削除を要求したものではなかった[14]。
アーカイブ内のウェブページの証拠能力
編集
2004年10月の﹁ポーランド・テレビ・SA社 対 エコースター・サテライト社﹂の裁判において、ウェイバックマシンのアーカイブが法的証拠の情報源として使われた。ポーランド・テレビはポーランドのテレビ局TVPポロニア (TVP Polonia) の提供元であり、エコースター・サテライトはアメリカの衛星テレビ放送ネットワークである、ディッシュ・ネットワークの運営元である。裁判の過程で、エコースター社はテレウジャ・ポルスカ社のウェブサイトの過去の内容の証拠として、ウェイバックマシンのスナップショットをあげた。テレウジャ・ポルスカ社は、伝聞および非公式情報に基づくものとしてやめさせようとしたものの、下級審判事のアーランダー・ケイズは、スナップショットを伝聞とするテレウジャ・ポルスカ社の主張を退け、インターネットアーカイブ社従業員による宣誓供述をスナップショットの信頼性を保証するものとして採用した[15]。
グレイトフル・デッド
編集
2005年11月、グレイトフル・デッドのコンサートの模様を収録した資料の無料ダウンロードが削除された。ニューヨーク・タイムズ紙の報道によれば、ジョン・ペリー・バーロウはこの変化の原因として、ボブ・ウィアー、ミッキー・ハート、ビル・クロイツマンのバンドの元メンバー3名の名を挙げた[16]。元メンバーのフィル・レッシュは2005年11月30日付けでこの削除について個人サイト上でコメントを出した[17]:
グレイトフル・デッドのショーの全てが感謝祭前にArchive.orgから消えたのが気になった。私はこの決定に関与していないが、これら資料の引き上げについて聞かされていなかった。私はこの音源こそがグレイトフル・デッドの伝説であると信じているし、これらが求める人全ての手に入ることを望む。
ブリュースター・カールが11月30日にフォーラムへ投稿し、﹁観客による録音資料はダウンロードもしくはストリーム配信可能である。しかしながら、ミキサーでの録音資料はストリーム配信にのみ限られる。﹂とのバンドメンバーとの合意に達した内容をまとめた[18]。
インドからのアクセス遮断
編集| 画像外部リンク | |
|---|---|
 [1] - インドの携帯電話通信会社であるバーティ・エアテルからインターネットアーカイブにアクセスしたときの画面。「あなたのリクエストしたURLは、インド政府の電気通信局からの命令に基づきブロックされています」と書かれている。 |
![[1]](https://img.buzzfeed.com/buzzfeed-static/static/2017-08/8/13/asset/buzzfeed-prod-fastlane-01/sub-buzz-25202-1502213091-2.png){kind=link}
ホスティング環境
編集
ネット上のすべてのデータを収拾するサイトである性格上、そのホスティング環境は巨大なものである。2009年まではHDD4台を搭載した800台のLinuxクラスターで運用していたが、2009年春にサン・マイクロシステムズのSun Fire X4500 63台のクラスターに変更された。OSはSolaris10で、1台あたり1テラバイトHDDを48台搭載︵＝総計3ペタバイト︶、ファイルシステムはZFSを採用していた。施設には専用のSun Modular Datacenterを使用していて、全データが輸送用コンテナひとつに収まっていた[21]。これはその後次第にPetaboxと呼ばれる独自設計のラックマウント型Linuxサーバークラスターに置き換えられ、現在はPetaboxの第二世代が稼働中である[22]。カリフォルニアベイエリアに3つのデータセンター拠点を持つ。
対応ブラウザ
編集閲覧するウェブブラウザについて、2019年8月頃からInternet Explorerで保存一覧を見ることができなくなっている。Google Chromeでは従来通り閲覧可能。
脚注
編集注釈
編集
(一)^ 中黒を入れた﹁インターネット・アーカイブ﹂という表記も見られるほか、日本語でも﹁Internet Archive﹂と表記することもある。たとえば、ともに国際インターネット保存コンソーシアムに加盟している国立国会図書館による紹介では表題では﹁Internet Archive﹂、本文では﹁インターネットアーカイブ﹂と表記しており、本文冒頭で "Internet Archive" を併記している[1]。また、同じく国立国会図書館による国際インターネット保存コンソーシアムの紹介では﹁インターネットアーカイブ﹂、﹁インターネット・アーカイブ﹂の両表記が混在している[2]。
(二)^ ab国立国会図書館による紹介ではカナ表記は使用しておらず、﹁Wayback Machine﹂と表記している[1]。
(三)^ インターネットアーカイブではウェブページを、有効なHTMLドキュメント、プレーンテキスト、PDFと定義している。[4]
出典
編集
(一)^ ab“Internet Archive “Wayback Machine””. インターネット資料収集保存事業. 国立国会図書館 (2016年11月22日). 2017年8月9日閲覧。
(二)^ “International Internet Preservation Consortium (IIPC)”. インターネット資料収集保存事業. 国立国会図書館 (2013年1月29日). 2017年8月9日閲覧。
(三)^ “10,000,000,000,000,000 bytes archived!”. Internet Archive Blogs. Internet Archive. 2019年1月10日閲覧。
(四)^ “Defining Web pages, Web sites and Web captures”. Internet Archive Blogs. Internet Archive (2016年10月23日). 2023年9月16日閲覧。
(五)^ ab“Wayback Machine”. web.archive.org (2022年10月1日). 2022年10月18日閲覧。 “Explore more than 742 billion web pages saved over time (時間の経過とともに保存された 7,420 億を超える Web ページを探索する)”
(六)^ “Wayback Machine”. web.archive.org (2022年9月1日). 2022年10月18日閲覧。 “Explore more than 728 billion web pages saved over time (時間の経過とともに保存された 7,280 億を超える Web ページを探索する)”
(七)^ “Internet Archive “Wayback Machine””. 国立国会図書館インターネット資料収集保存事業. 国立国会図書館 (2016年11月22日). 2017年9月24日時点のオリジナルよりアーカイブ。2017年9月24日閲覧。
(八)^ “出版社がInternet Archiveを提訴。オープンライブラリーで﹁故意に大量の著作権侵害﹂と主張 - Engadget 日本版”. Engadget JP. 2020年6月2日時点のオリジナルよりアーカイブ。2022年1月27日閲覧。
(九)^ 株式会社インプレス (2020年6月4日). “Internet Archive、米国の複数の出版社から著作権侵害で訴えられる。その理由は︻やじうまWatch︼”. INTERNET Watch. 2022年1月27日閲覧。
(十)^ “Wayback Machine APIs”. Internet Archive. 2019年1月10日閲覧。
(11)^ Campbell, Ian Carlos (2020年11月19日). “The Internet Archive is now preserving Flash games and animations”. The Verge. 2020年11月20日時点のオリジナルよりアーカイブ。2020年11月19日閲覧。
(12)^ “Net archive silences Scientology critic - CNET News”. CBS Interactive.. 2012年7月16日時点のオリジナルよりアーカイブ。2019年1月10日閲覧。
(13)^ “Internet Archive Forums: exclusions from the Wayback Machine”. Internet Archive. 2019年1月10日閲覧。
(14)^ “LawMeme - Sherman, Set the Wayback Machine for Scientology”. Yale University. 2006年4月24日時点のオリジナルよりアーカイブ。2019年1月10日閲覧。
(15)^ Gelman, Lauren (2004年11月17日). “Internet Archive’s Web Page Snapshots Held Admissible as Evidence” (英語). The Center for Internet and Society. 2022年12月20日閲覧。
(16)^ Wrath of Deadheads stalls Web crackdown, ニューヨーク・タイムズの記事 ︵インターナショナル・ヘラルド・トリビューンサイト内︶[リンク切れ]
(17)^ Phil Lesh. “PhilLesh.net - Hotline”. 2012年2月20日時点のオリジナルよりアーカイブ。2019年1月10日閲覧。
(18)^ “Internet Archive Forums: Good News and an Apology: GD on the Internet Archive”. Internet Archive. 2019年1月10日閲覧。
(19)^ abcLeo Kelion (2017年8月9日). “Bollywood blocks the Internet Archive”. BBC News (BBC) 2017年9月24日閲覧。
(20)^ “The 'Internet Archive' was blocked on orders from Madras High Court”. tech2 (Firstpost). (2017年8月11日) 2017年9月24日閲覧。
(21)^ “Sun puts Internet Archive in a box, but will it stay there?”. Ars Technica. 2019年1月10日閲覧。
(22)^ “Internet Archive: Petabox”. Internet Archive. 2019年1月10日閲覧。
関連項目
編集- Archive Team
- Heritrix - Internet Archiveのクローラ。
- リンク切れ（デッドリンク、死にリンク）
- クローラ（ロボット）
- 電子図書館
- デジタルアーカイブ - 実際のものを電子的に保存すること。
- ウェブ魚拓
- archive.is
外部リンク
編集- 公式ウェブサイト （英語）
- Internet Archive: Wayback Machine （英語）
- Internet Archive: Projects （英語）
- 公式ブログ （英語）
- Internet Archive Mirror （英語） - 新アレクサンドリア図書館にあるインターネットアーカイブ。
- Internet Archive “Wayback Machine” - ともに国際インターネット保存コンソーシアムに加盟している国立国会図書館による紹介。