[B! hive] ikeikeikeikeのブックマーク

ikeikeikeike id:ikeikeikeike

hiveに関するikeikeikeikeのブックマーク (9)

Compiled Python UDFs for Impala
This document discusses compiling Python user-defined functions (UDFs) for Impala. It provides examples of defining a string equality function in C++ and compiling it to LLVM IR. It also describes how to register and execute such compiled functions from Impala and how to integrate them with the Impyla and Numba Python libraries for scala ble analytics and machine learning model scoring. Batch scori
ikeikeikeike 2014/07/18
compiler

context

hive

hadoop

impala

python

impyla

const

c++
リンク
Cloudera Impalaのアーキテクチャ
︵本ブログは若干古くなっているので、Impala情報ページをご覧下さい。比較的新しい情報をまとめています︶一人アドベントカレンダー25日目、最終日です。最終日はCloudera Impala︵以下Impala︶について。Impalaは分散クエリエンジンです。最近EMRでも利用できるようになりました。 Hiveとは何が違うのか、なぜHiveを高速化しなかったのかというような意見もあるようですが、その答えはClouderaの創業者でもあるMike Olsonが今週公開したブログ︵Impala v Hive︶に詳しく書かれています。かなり興味深い内容ですが、今のところ英語のみです。きっと日本語の記事もいずれ読めるようになるはず。。。さて、最終日はCloudera Impalaのアーキテクチャについて書いてみます。引用している資料はSlideshareでClouderaが公開しているものです
ikeikeikeike 2014/03/03
impala

hive

cloudera

hadoop
リンク
Hue - Hadoop User Experience - The Apache Hadoop UI — Tutorial: Executing Hive or Impala Queries with Python
Tutorial: Executing Hive or Impala Queries with Python This post talks about Hue, a UI for making Apache Hadoop easier to use. Hue uses a various set of interfaces for communicating with the Hadoop components. This post describes how Hue is implementing the Apache HiveServer2 Thrift API for executing Hive queries and listing tables. The same interface can also be used for talking to Cloudera Impal
ikeikeikeike 2013/12/12
hive

impala

hadoop

Apache

home

Python

Hue
リンク
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン﹁Presto﹂を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
ikeikeikeike 2013/11/08
Impalaはドコイッタネン比較して欲しいな

hive

facebook

hadoop

hdfs

sql

bigdata

db

database
リンク
ほぼやけくそHive Hacks – OpenGroove
Hive Hacksあれこれ。内容はほぼO’REILLY Hadoop Hacksからの引用そのまんま。ただの個人メモなのだが、ずうずうしく公開させてもらいます。いろんなところに記録しておいてもすぐに﹁あれ、あのメモどこやったっけ﹂となるのでここに書くのが一番なんだよね。書いたからって理解できるわけでもないんだが… ︵初めに書いておくと、この投稿長いです︶基本原則的なこと。 ●UPDATEは回避する処理速度が遅延するため、UPDATEを多数含むようなSQLをHiveSQLに変換することは避けるべき ●MapReduceタスクのオーバーヘッド Hiveは﹁高スループットを目指す処理には向いているが、低レンテンシを目指す処理には向いていない﹂というMapReduce処理の特徴を引き継いでいる。MapReduceタスクのオーバーヘッドが付きまとうことを念頭におく。 ●並列分散ができない処理
ikeikeikeike 2013/10/22
hive

join

hadoop

impala
リンク
少しだけImpala演習 – OpenGroove
Impalaを、軽ーくさわってみた記録。せっかくなのでHiveとも比較してみた。実行環境はAWSのm1.largeインスタンスに構築したHadoop疑似分散モード。セットアップ方法は前回投稿に記載。サンプルデータをダウンロードする。マシンの適当な場所で以下実行。このリンクいつまであるかわからないけど、以前のHive演習用に使ったサンプルです。 $ wget http://image.gihyo.co.jp/assets/files/book/2012/978-4-7741-5389-6/download/sample.zip $ unzip sample.zip この中のtsvファイルを、HDFSにputする。これは相対パス指定。 $ hadoop fs -put /tmp/sales.tsv test/ Impala shellを起動して、テーブルを作成する。元データはファイル名では
ikeikeikeike 2013/09/04
impala

hive
リンク
Cloudera Impala発表資料 | 外道父の匠
11/26 の『Hadoopソースコードリーディング第13回』でCloudera Impalaの発表をしてきました。きっかけはTwitter上で、ビールの化身も◯すの外道父を呼べば？から始まって、１分かからず依頼ツィートが飛んできて引き受けた感じで、Twitterで数分で全てが完結する非常にフットワークの軽い業界になります。それでは、発表資料や補足などを書いていきます。リンク Eventbrite : Hadoopソースコードリーディング第13回 Twitter #hadoopreading togetter : Hadoopソースコードリーディング第13回まとめ Inside Impala Coordinator at HSCR 13th – Go ahead! by @repeatedly Inside Impala -Query Exec Engine- by @o
ikeikeikeike 2013/07/12
hive

hadoop

benchmark

impala

cloudera

performance

databases

外道父

search

負荷分散
リンク
TechCrunch | Startup and Technology News
Though Spotify never shared official numbers, it’s likely that Car Thing underperformed or was just not worth continued investment in today’s tighter economic market.
ikeikeikeike 2013/04/21
hive

hadoop

Amazon

aws

memo

Redshift
リンク
mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です．このブログではお馴染みのたんぽぽグループですが，"No More ﹁刺身の上にタンポポをのせる仕事﹂ - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています．今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における﹁刺身の上にタンポポをのせる仕事﹂をどう減らすかの2点について書きます． mixi の解析基盤まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
ikeikeikeike 2012/08/09
hive

mixi

hadoop

Apache
リンク
1