[B! Hadoop][hadoop] peketaminのブックマーク

peketamin id:peketamin

Hadoopとhadoopに関するpeketaminのブックマーク (42)

ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について
ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状システム管理は惨劇に見舞われている。現状は悲惨だ。筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。この憤りは、コンテナーと構築済みVMと、それらがもたらす、﹁信頼﹂や﹁アップグレード﹂の欠如による悲惨な惨劇に対するものだ。例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。この手のイケてるツールの中で、古典的なmake
peketamin 2015/04/28
Hadoop
リンク
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
peketamin 2015/02/23
データ分析

bigquery

hadoop

tagomoris

_FAV_
リンク
40分でわかるHadoop徹底入門（Cloudera World Tokyo 2014 講演資料）
■Hadoopの理解にちょっと自信のない皆さんに贈る 40分でわかるHadoop徹底入門（Cloudera World Tokyo 2014 講演資料）日本Hadoopユーザー会濱野賢一朗／Kenichiro Hamano (NTTデータ)Read less
peketamin 2014/11/13
hadoop

入門
リンク
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
﹁BigQueryは120億行を5秒でフルスキャン可能﹂は本当か？先日、kaheiさんがGoogle BigQuery︵Googleクラウドの大規模クエリサービス︶について、こんなエントリを書いていた。とにかくパフォーマンスがすごい。︵Fluentd Meetupでの︶プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる︵これ、記憶がちょっとあいまい。もう少しかかったかも︶。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきましたこれを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
peketamin 2014/05/19
hadoop

BigQuery

google

fluentd
リンク
Spark SQL: Manipulating Structured Data Using Apache Spark
Unified governance for all data, analytics and AI assets
peketamin 2014/03/27
Spark

shark

hadoop
リンク
データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz
データマネジメント 2014に参加してきたレポートの最後は、以下のセッションのみをひとつ切り出しました。 14:00-14:40 C-5 『正確なデータをもとに明日を予測する〜ノーチラスが提案する新しい予測の形〜』ノーチラス・テクノロジーズ理由は簡単で、この @okachimachiorz1 さんのセッションが今回のデータマネジメント 2014 の中で、わたしが一番面白いと思い、かつ異彩を放っていたなぁ、と思っているからです。ゼヒ、資料が slideshare 等にアップされてほしいなぁと思っていますが、わたしのとれた範囲内でメモを公開させていただきます。 C-5 『正確なデータをもとに明日を予測する〜ノーチラスが提案する新しい予測の形〜』ノーチラス・テクノロジーズ自己紹介 DM というよりも業務系で Hadoop を使う OSS を中心に Asakusa を開発したりしてい
peketamin 2014/03/14
Hadoop

data

bigdata
リンク
Log Analysis System And its designs in LINE Corp. 2014 early
Log Analysis System And its designs in LINE Corp. 2014 early
peketamin 2014/02/21
fluentd

Hadoop

Hive

line

log

SQL
リンク
Apache DataFu
Getting Started Download DataFu Spark DataFu Pig DataFu Hourglass DataFu Spark Docs Guide Scaladocs DataFu Pig Docs Guide Javadocs DataFu Hourglass Docs Concepts Javadocs Community Mailing Lists Contributing Issues Wiki Apache Software Foundation Homepage License Sponsorship Security Thanks Apache DataFu Apache DataFu™ is a collection of libraries for working with large-scale data in Hadoop. The p
peketamin 2014/02/05
hadoop
リンク
並列データベースシステムの概念と原理
2014/01/30 筑波大学情報システム特別講義Dの講義資料です。 join関係はNAIST時代の宮崎先生のデータ工学Ⅱの内容を参考にしてます。 animation有効なビデオはこちら https://vimeo.com/85598907Read less
peketamin 2014/02/02
DB

DWH

Hadoop

MapReduce
リンク
Cloudera | ハイブリッドデータカンパニー
データを信頼し、AI を信頼する信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
peketamin 2014/01/14
Hadoop
リンク
Hadoopは誰が開発しているのか︵2013年︶ - あした、きっとかわる。。。

● 52 users

● hamano3.hatenadiary.org

●テクノロジー

この投稿は @hamaken によるHadoop Advent Calendar 2013の18日目の記事です。このエントリでは、Hadoop が誰の手によって開発されているのか・・・を紹介します。これまでに Hortonworks や Cloudera によって Hadoop に貢献したコード量などの集計が紹介されてきました*1。しかし、2011年を最後に新しいデータが出てきていないので、2013年はどうだったのかなー、と思い集計してみました。集計作業は @ajis_ka さんに協力してもらいました。ありがとうごさいます！ ■ 集計方法皆さん、ご存じのとおり Apache Hadoop の開発は JIRA を中心に進められています*2。新機能も、バグ修正も、JIRA の Issue として登録・管理されるのが原則です。今回の集計では、Hadoopの主要コンポーネント（HADOO
peketamin 2013/12/18
Hadoop
リンク
株式会社HPCソリューションズ　～　技術情報並列ファイルシステムについて Lustre GPFS Panasas GlusterFS Ceph OrangeFS
並列ファイルシステム、或いは分散ファイルシステムと呼ばれるものが最近のPCクラスタでは標準となっています。これらは複数のサーバ、複数のストレージデバイスを仮想的に1ボリューム化し、更に共有ファイルシステムとしてサービスすることが出来ます。並列ファイルシステムは大規模システムのものと思いがちですが、計算ノードが数十台以下の小さなシステムでも大きなサイズのファイルを扱うプログラムでは絶大な効果を発揮します。最近では選択肢が増えたこともあり、規模が小さければそれに合わせた低コストの並列ファイルシステムを作ることも容易になりました。この解説では並列ファイルシステムの代表的なものとしてLustre、GPFS、GlusterFS、Panasas ActiveStorを紹介したいと思います。︵※Panasas ActiveStorはサーバなどハードウェアを含むアプライアンス製品ですが、独自の並列
peketamin 2013/11/07
infiniband

GlusterFS

File System

hadoop
リンク
“シリコンバレーの技術者集団”ではトレジャーデータを見誤る (1/5)
シリコンバレーの日本人ベンチャーとして注目度の高いトレジャーデータのCTOである太田一樹氏とのインタビューが実現した。CEO芳川裕誠氏の家のベランダと熱海の温泉で始まった会社の起業物語やサービスのポイントなどを聞いた1時間のインタビューをほぼ加工なしで掲載する。 Hadoopのポテンシャルを感じ始めたときに声をかけてもらった TECH.ASCII.jp 大谷︵以下、TECH 大谷︶‥太田さんというと、Hadoopの人というイメージがありますが、そもそものバックグラウンドを教えてください。トレジャーデータ太田氏︵以下、TD太田︶‥はい。もともと私のバックグラウンドはHPC︵High Performance Computing︶のエリアで、19歳くらいからあまり学校にも行かず︵笑︶、プリファードインフラストラクチャという会社のCTOをやらせていただきました。あと、米オレゴンの国立研究所で
peketamin 2013/07/03
treasuredata

Hadoop

fluentd
リンク
Hadoop運用管理の今
EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。
peketamin 2013/06/26
Hadoop
リンク
Cloudera Standard のご案内 ~ 無償版大幅機能強化のお知らせ | Cloudera Japan
データを信頼し、AI を信頼する信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
peketamin 2013/06/05
リンク
株式会社ノーチラス・テクノロジーズ
劔＂Tsurugi＂新しいハードウェアアーキテクチャ︵メニーコア・大容量メモリー︶に合わせた設計思想で、性能を最大限に発揮するデータベース Asakusa Framework 業務システムのバッチに並列分散処理の能力を活用するためのフレームワークです。大容量のデータ・複雑な処理を多数のコンピューターに分割して処理し、従来のシステムでは難しかった処理も実現できます。 Asakusa on M³BP Asakusa on M³BPは、分散処理の開発フレームワークであるAska usa Frameworkと、マルチコア環境でDAG形式で並列処理をするインメモリエンジンのM³ for Batch Processing︵略称‥M³BP︶を組み合わせたデータ処理高速化のソリューションです。フィックスターズ社との共同開発でOSSとして公開しています。
peketamin 2013/05/27
EC

Hadoop

Asakusa

エンジニア
リンク
ノーチラス・テクノロジーズは、西鉄ストアの本部基幹システムを Asakusa Framework/Hadoopにて開発、ミッションクリティカルなシステムをアマゾンウェブサ―ビス上で本稼働開始 | NAUTILUS
ホーム>お知らせ>ノーチラス・テクノロジーズは、西鉄ストアの本部基幹システムを Asakusa Framework/Hadoopにて開発、ミッションクリティカルなシステムをアマゾンウェブサ―ビス上で本稼働開始ノーチラス・テクノロジーズは、西鉄ストアの本部基幹システムを Asakusa Framework/Hadoopにて開発、ミッションクリティカルなシステムをアマゾンウェブサ―ビス上で本稼働開始 PDF版のダウンロードはこちら株式会社ノーチラス・テクノロジーズ(以下ノーチラス)は、株式会社西鉄ストアの本部基幹システムの刷新を行い、2013年3月末に全面稼働を開始したことを発表いたします。この本部基幹システムは、Hadoop/Asakusa Framework™(*1)を利用した基幹系システムでは、現時点で日本最大規模となります︵当社調べ 2013年4月9日現在︶。また
peketamin 2013/04/09
Hadoop

aws

オンプレミス

基幹系
リンク
TechCrunch | Startup and Technology News
You probably rem ember that back in November, OpenAI’s board fired the company’s co-founder and CEO Sam Altman. What followed was this incredibly complicated power struggle…
peketamin 2013/04/02
hadoop

BigData

低価格
リンク
HBaseとはどんなNoSQLデータベースなのか？日本語で読める情報を集めてみた
Facebookが新しいサービス﹁Messages﹂の基盤として、NoSQLデータベースの﹁HBase﹂を選択したことを、先日の記事﹁Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった﹂で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model︵一貫性モデル︶を備えている自動ロードバランス、フェイルオーバー、圧縮機能サーバーごとに数十個のシャードを割り当て可能、などなどこのHBaseはどのようなデータベースなのでしょうか？情報を集めてみました。 HBase入門のプレゼンテーション最初に紹介するのは﹁HBaseエバンジェリスト﹂Tatsuya Kawano氏のプレゼン
peketamin 2013/01/18
Hadoop

HBase

nosql

database

db

データベース
リンク
アクセス解析システムの裏側（公開用）
Seminar report (Building a Linux server and AWS SDK for Ruby)Tamotsu Furuya
peketamin 2012/10/11
mongodb

mapreduce

Hadoop

アクセス解析

statistics
リンク
1 2 3 次のページ