KOF 2008 の発表資料

KOF 2008 での発表資料﹁はてな流大規模データ処理﹂を以下にアップロードしました。


●http://bloghackers.net/~naoya/ppt/081108huge_data.ppt


一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。

環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。

追記

SlideShare にアップロードしました。

081108huge_data.ppt

View SlideShare presentation or Upload your own. (tags: linux mysql)

追記: メモリはディスクの 150 倍について

資料中に記載している﹁メモリはディスクの 150 倍﹂ですが、これはデータの転送速度の差を表しています。

一方、これは知人から教えてもらったのですが、ディスクとメモリのシークの差はディスクがms単位、メモリがns単位でその差は数十万倍にもなるそうです。

情報検索でインデックスをディスクから検索するのとメモリ上で検索するのとではこのシーク速度が支配的になり、結果としてメモリ上で計算できると数十万倍以上高速である、と言えるそうです。(CPU の L1, L2 キャッシュがあるので、更に差がつきます。)

大変勉強になりました。