2020/07/09 Embulk & Digdag Online Meetup 2020
![Embulkを利用したデータ統合SaaSの構築と運用](https://cdn-ak-scissors.b.st-hatena.com/image/square/6c5dfb12c8b605529d534c793e530028fb472f7c/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F14c18d7a49c543529aaaaeb126979125%2Fslide_0.jpg%3F15807130)
トークに関する質問はSlidoで受け付けています! https://app.sli.do/event/rmpbrfsv [目次] 00:00 準備中のためスキップしてください。 46:18 オープニング 48:26 Embulkプラグインをスクリプトで書けるようにしてみた by 古橋貞之 Arm TreasureData(現Treasure Data) 1:09:31 Plan and incompatibility toward Embulk v1.0 by 三廻部大 Arm TreasureData (現Treasure Data) 1:50:22 Embulk を利用したデータ統合SaaSの構築と運用 by 鈴木健太 株式会社primeNumber 2:36:43 Digdag updates 山縣 陽 Arm TreasureData(現Treasure Data) 3:09:
データベースを使って何かする際に、ダミーデータが超大量に欲しくなることがあるのでembulkのinput-pluginを作ってみた。 githubのリンク 何もない環境からなら $ wget https://bintray.com/artifact/download/embulk/maven/embulk-0.2.1.jar -O embulk.jar でembulk本体のが降ってくるのでそれを使って $ java -jar embulk.jar gem install embulk-plugin-input-random とすればプラグインが降ってくる。 exec: {} in: type: random rows: 100 schema: id: primary_key name: string score: integer out: type: stdout こんな感じのconfig
RubyのProcの説明は巷に溢れているから今更感があるけどここ数回Procを使ったネタを書いていたらProcがかわいくなっちゃってもっとみんなにもProcのこと知ってもらいたいという欲求が生まれてきたからProcについての基本的なことを僕なりのやり方でここに書くよ。長いよ。 Rubyの関数(メソッド) Rubyにおいて関数(メソッド)はファーストクラス(オブジェクト)ではありません。つまり文字列や数字や配列などの他のオブジェクトとは異なって、Rubyではそれを直接変数に代入したり、他の関数に渡したりすることはできません。 def square(n) n * n end sq = square # squareメソッドを変数sqに代入してみる # ~> -:1:in `square': wrong number of arguments (0 for 1) (ArgumentError)
The document discusses Embulk, an open-source parallel bulk data loader that uses plugins. Embulk loads records from various sources ("A") to various targets ("B") using plugins for different source and target types. This makes the painful process of data integration more relaxed. Embulk executes in parallel, validates data, handles errors, behaves deterministically, and allows for idempotent retr
こんにちは、最近Embulk(エンバルク)を調べている川崎です。 タイトルの「DigDag」(ディグダグ) *1と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね! 今回はEmbulkを使い始めると直面するであろう課題について書いていきたいと思います。 これまでに書いたEmbulkエントリー [Embulk] Embulkについての個人的なまとめ [Embulk] guess機能を試してみた【追記】あり [Embulk] guess機能を試してみた Redshift編 [Embulk] タイムスタンプのカラムを追加する [Embulk] タイムスタンプのカラムを追加する add_timeプラグイン編 [Embulk] guess機能を試してみた (テーブルが存在する場合) Embulkを使いはじめると... Embulkはデータファイルの中身をDBにロードするような用途で
Built-in Plugins Configuration Embulk configuration file format Local file input plugin CSV parser plugin JSON parser plugin Gzip decoder plugin BZip2 decoder plugin File output plugin CSV formatter plugin Gzip encoder plugin BZip2 encoder plugin Rename filter plugin Remove columns filter plugin Local executor plugin Guess executor Preview executor Logo Images Logo Square Horizontal Icon Customiza
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く