[B! MapReduce] bongkuraのブックマーク

#appengine MapReduceで毎秒2000件×8日間＝15億件を処理！ - スティルハウスの書庫の書庫

まだMapper APIのみの提供でReducer APIがないappengine-mapreduceライブラリについては、10万件のデータを対象としたテストでは1000件／秒程度で処理できたよというレビューをお届けしました。しかしApp Engineの中の人であるBrettさんは15億件のデータを対象としてmapper APIを試したところ、毎秒2000件以上のスループットを達成したそうです。以下におもな点を要約します： Brett Slatkin - One Big Fluke - Biggest Map() of my own. I recently ran the biggest Map() job of my life on my own data using the new App Engine Mapper framework: 1.5 Billion rows. The d

bongkura 2010/07/05

リンク

Design patterns for efficient graph algorithms in MapReduce

Design Patterns for Efficient Graph Algorithms in MapReduce Jimmy Lin and Michael Schatz University of Maryland, College Park {jimmylin,mschatz}@umd.edu ABSTRACT Graphs are analyzed in many important contexts, includ- ing ranking search results based on the hyperlink struc- ture of the world wide web, module detection of protein- protein interaction networks, and privacy analysis of social network

bongkura 2010/06/30

mapreduce

リンク

Jimmy Lin » Data-Intensive Text Processing with MapReduce

bongkura 2010/06/25

リンク

Google App Engineを使ったMapReduce·Appengine Mapreduce MOONGIFT

Appengine MapreduceはGoogle App Engine用Python製のオープンソース・ソフトウェア。Googleの基礎技術の一つであるMapReduce。膨大な文字列やデータを細かく細分化し、無数のコンピュータ上で並列処理させることで高速なシステムを実現する仕組みだ。実行画面 MapReduceはAmazon Webサービスにも真似されており︵Amazon Elastic MapReduce︶、有益さが分かっている。だが、どう使えば良いかが今ひとつ実感できないかも知れない。そこでMapReduceを手軽に試せるシステムとして開発されたのがAppengine Mapreduceだ。 Appengine MapreduceはGooglerが開発したソフトウェアで、Google App Engine上で動作する。テキストなどを分散化処理することができる。管理画面から処理を

bongkura 2010/06/01

リンク

Amazon Elastic MapReduceでperlを使った処理をしてみる

http://docs.amazonwebservices.com/ElasticMapReduce/latest/GettingStartedGuide/ を読むとAmazon Paymentに誘導されるけどアメリカ国内向けなので使えないっぽい。 http://kzk9.net/blog/2009/04/reviewing_amazon_elastic_map_reduce.html を読んだら https://console.aws.amazon.com/ から触れるとのことで、既存の決済に合算できた。 #!/usr/bin/perl # mapper.pl use strict; use warnings; while (<>) { my ($uri) = ($_ =~ /"(?:GET|POST|HEAD) ([\S]+?) HTTP/); print "$uri\n"; } #!

bongkura 2010/01/29

リンク

本を読む GREE LabsでHadoopの話を聞いてきた

GREEさんで不定期でやってる、GREE Labsオープンソーステクノロジー勉強会で、Hadoopの話を聞いてきました。Hadoopは、つまりはGoogleのGFSやMapReduceのクローンだそうで、﹁Googleを支える技術﹂にトキメいた人なら必見ですね。発表は、技術面を簡潔に押さえたうえでわかりやすく、そのうえ実際の利用事例の話も聞けたのが面白かったと思います。最近のWeb系では、サービス面でもマネタイズ面でも、データマイニングとか行動ターゲティングとかがアツいんだなぁと思いました。プレゼン資料もust録画も公開されていますが、以下、自分のメモという意味で記録しておきます。 Hadoopについて︵太田一樹︶ Preferred InfrastructureのCTOで、Sedueの作者。大量のデータの処理がテーマで、半分は酒でできているw。そんなこんなで、はてブ検索でも使われてい

bongkura 2009/11/25

リンク

Amazon Elastic MapReduceを使ってみた - moratorium

Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオWith Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以

bongkura 2009/11/25

リンク

MapReduce - naoyaのはてなダイアリー

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること

bongkura 2009/11/11

リンク

はてなブックマーク

タグ

関連タグで絞り込む (10)

MapReduceに関するbongkuraのブックマーク (8)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス