そろそろHadoopについてひとこと言っておくか - nokunoの日記

暮らしカテゴリーの変更を依頼記事元:

d.hatena.ne.jp/nokuno

272 usersがブックマークコメント

コメント

17

記事へのコメント17件

注目コメント
新着コメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

そろそろHadoopについてひとこと言っておくか - nokunoの日記

もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにし... もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存

ブックマークしたユーザー

fb2k2013/09/01
harumaki_net2011/10/13
j74001572011/10/03
sadah2011/10/03
mi_kattun2011/08/31
fsas8607482011/05/05
yuki_20212011/04/22
seapig_dolphin2011/03/02
masa10012011/02/20
yk56562011/02/08
nekoruri2011/01/31
masu_mi2011/01/31
heatman2011/01/30
aminotsukasa2011/01/22
bigwest2011/01/16
Hayato2011/01/14
yukung2011/01/13
kiyo5608082011/01/12

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 暮らし

いま人気の記事 - 暮らしをもっと読む

新着記事 - 暮らし

新着記事 - 暮らしをもっと読む

設定を変更しましたx