[B! hadoop] stealthinuのブックマーク

stealthinu id:stealthinu

hadoopに関するstealthinuのブックマーク (8)

Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、﹁リアルタイム処理﹂をテーマに掲げる企業も多いかと思われる。具体的には、直近10秒間のトラフィックを集計したい。直近10分間で自社商品がTwitterで話題になった回数を知りたい。直近10時間での全店舗での来客数を集計したい。といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には﹁ウインドウ集計︵Time-Window Operation︶﹂と呼ばれる。そこで本コラムでは、近頃、﹁ポストHadoop﹂として話題のApac
stealthinu 2016/06/07
sparkというhadoopをよりリアルタイム分析に適して進化したシステム。リアルタイム分析ってそんなに必要性あがってるのかなあ？障害時に原因特定のためにすぐに色々分析できるのは便利そうだが。

hadoop
リンク
電子書籍『実践機械学習』の無料ダウンロードが可能に！
機械学習の基礎について解説した電子書籍﹃実践機械学習 ― レコメンデーションにおけるイノベーション﹄がHadoop情報サイト﹁Hadoop Times﹂から無料でダウンロードできます。著者は﹃Mahoutイン・アクション﹄の著作でもお馴染みのTed DunningとEllen Friedman。Apache Mahoutプロジェクトでプロジェクトマネジメント委員やコミッタとして活躍しながら、MapR社でチーフアプリケーションアーキテクトやコンサルタントを務めている両氏が、機械学習の初学者のために書き下ろしたの一冊です。50ページほどの手軽なボリュームながら、レコメンデーションを洗練させるための重要なエッセンスが詰まっています。機械学習とレコメンデーションについて学習したいけれど、どこから始めればよいか迷っているという方は、手始めに本書を読むところから始めてみてはいかがでしょうか。H
stealthinu 2014/08/25
実践機械学習が無料ダウンロード可能とのこと。

機械学習

hadoop

mahout

本
リンク
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン﹁Presto﹂を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
stealthinu 2013/11/08
なぜに「Presto」って名前なんだよ…

facebook

hadoop

db
リンク
Hadoopでレコメンドシステムを作ろう記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します⁠。個別にライセンスが設定されている記事等はそのライセンスに従います。
stealthinu 2012/09/15
Hadoop使ってレコメンドシステムを作る連載。

hadoop

programming
リンク
ヤーウエ、いと高き神からの日本へのメッセージ
メールアドレスがこのグループでは匿名化されているか、メンバーのメールアドレスを表示する権限がないため、元のメッセージを表示できませんヤーウエ、いと高き神からの日本へのメッセージ http://prophecies.org/japanese/Book%2012/Chapter77.htm FROM THE MOUNTAIN PROPHECIES 預言、主の山より第12巻第77章ヤーウエ、いと高き神からの日本へのメッセージ 2011年4月1日祝福された私の子よ、座して私の言う通りに書きなさい。私の真理が、今、波間に沈もうとしている国に届くためです。私はあなたの父、ヤーウエ、いと高き神、主の主であり王の王、万物の創造者です。ヤーウエの言葉を聞くがよい、あなた方日本の民よ！あなたのプライドを悔い改めよ！私の言うことを聞くがよい、おお、高慢な、虚栄心の強い、自己満足の日本の民よ
stealthinu 2011/07/26
こ・れ・はｗ　スパムに全力ネタ返しハンパねえ。

ネタ

spam

hadoop
リンク
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップのエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
stealthinu 2010/09/29
hadoop

server

開発
リンク
Yahoo! Mail antispam - Bay area Hadoop user group
H2O World - Munging, modeling, and pipelines using Python - Hank RoarkSri Ambati
stealthinu 2010/04/30
Yahoo!のスパムレピュテーションではものすごい数のメール解析にHadoop利用しているとのこと。あー、ぜんぜん単位が違うわあ…

spam

hadoop
リンク
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている︵使いたいと思っている︶方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214tech blog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
stealthinu 2010/01/05
hadoopをec2上で使ってみた、のまとめ。結構簡単に使える。でもそこまでの大規模データが無い…

ruby

hadoop

EC2
リンク
1