[B! Airflow] nntsuguのブックマーク

nntsugu id:nntsugu

Airflowに関するnntsuguのブックマーク (2)

builderscon2018 airflowを用いて、複雑大規模なジョブフロー管理に立ち向かう - Speaker Deck
builderscon2018で発表した資料。
nntsugu 2018/09/10
builderscon

2018

Airflow

あとで読む
リンク
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの﹁質﹂には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
nntsugu 2017/07/18
Airflow

workflow
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx