※具体的なアンケートの質問は不明？ この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品（Flyteとか）、みんな知っているだろう製品（Sparkとか）は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset
dbt Cloudのジョブがエラーになったら（Cloud Runを使って）PagerDutyにインシデントとして挙がるようにしてみた | DevelopersIO
大阪オフィスの玉井です。 dbt Cloudの利用が本格的になってくると、ジョブが何らかのエラーでこけた場合、早急な対応が求められてくると思います（データ変換が止まる→BIツールや機械学習等といった下流のデータ利用に支障が出る→ビジネス的にヤバい）。 そういうユーザーのために、dbt Cloudには、ジョブが失敗したときの通知の仕組みに関する機能が色々用意されています。その中でも、今回はPagerDutyと連携する方法を実際に試してみました。 やることの概要 Webhookを利用する 最近（2023年3月現在）、dbt CloudのジョブがWebhookに対応しました。 これまでは、dbt側のAPIを定期的にポーリングする等して、こちら側が能動的にジョブのステータスを確認する必要がありました。しかし、Webhookに対応してくれたおかげで、こちら側から定期的に確認せずとも、ジョブがこけたタ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
サマリ データ基盤の運用に便利な dbt ですが、既存のSQLを拡張SQL記法で書き換えるのが難しく、移行できずにいるチームも多いと思います。そこで、テスト機能とメタデータ管理機能のみを、既存データ基盤に手を加えることなく、導入する方法を解説します。 *dbt cloud ではなく、OSS 版の dbt を利用します。 本記事では、データ基盤の運用課題に有効な手段の一つである dbt を紹介しつつ、実際にBigQuery 上のデータ基盤に導入する方法をデモします。既存の基盤に手を加えずに、以下に示すようなテーブルに対する自動テストや、メタデータを統一して公開するwebサービスを立ち上げることができます。 テスト実行結果のイメージ Found 4 models, 2 tests, 0 snapshots, 0 analyses, 156 macros, 0 operations, 0 see
キャンプツーリング用にドッペルギャンガー「ターポリンシングルサイドバック」を買ったよ - もちくすブログ ーお外で遊ぼうー
こんにちは。 もちくすです。 私はキャンプの時は基本的にはバックパック1つでというスタイルなので、キャンプツーリングを始めても積載で大きく困ることはありませんでした。 ただ、バックパック1つとはいえども重量的には15～20kgになるので、全て背負ってバイクに乗るとしんどいし、何より余裕がなくなり危ないです。 私のXTZ125には一応荷台は付いているのですが、気持ち程度の小さい荷台なのでいつも使っているサイバトロンのバックパックのサイドポーチだけ荷台に括り付けることで対応してます。 www.mocchixblog.work 本来はホムセンボックスやパニアケースを荷台に取り付けるのが便利なんでしょうが、便利と判っていてもどうしても付ける気にはなりません。 この時期はまだ良いんですがどうしても荷物が増える厳冬期の事を考えると、何とかしないといけません。 ということで、色々物色してたのですが最終的
ハーフ・オブ・イット: 面白いのはこれから | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
DBT: Data Build Tool with Tristan Handy - Software Engineering Daily
A data warehouse serves the purpose of providing low latency queries for high volumes of data. A data warehouse is often part of a data pipeline, which moves data through different areas of infrastructure in order to build applications such as machine learning models, dashboards, and reports. Modern data pipelines are often associated with the term “ELT” or Extract, Load, Transform. In the “ELT” w
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt | DevelopersIO
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt 直近、dbtのQuickｓtartシリーズで以下2本のエントリを公開しましたが、いずれもdbt Cloudに関するものでした。 dbtではその他に大きなプロダクトの柱がもう1つ存在します。それが『dbt Core』です。コマンドラインベースのオープンソースプロダクト(無償)でdbtの各種操作をCLIで実行します。当エントリではdbt Coreのクイックスタートチュートリアルとして用意されている『Quickstart for dbt Core from a manual install』の実践内容をお届けします。 目次 01.はじめに dbt Coreをローカル環境にインストール 接続検証用のBigQuery環境を準備 接続検証用のGitリポジト
Claire Carroll As the sole analyst of a fast-growing Sydney startup, Claire experienced the pain of the traditional analyst workflow—stuck on a hamster wheel, an ever-growing backlog, and numbers that never quite matched up. So she taught herself dbt, the command line, version control and brought all the rigor of analytics engineering to her team. Along the way, she fell so in love with dbt that s
本記事はQiitaの「データに関する記事を書こう！」イベント用の記事となります。 最近聞くことが多くなってきたJinjaの書き方について整理＆まとめてみました。 Jinjaって何？（どんなところで使われているのか） Djangoとかを普段使っている方はお馴染みの{% for i in range(10) %}とか{{ any_variable }}みたいな書き方を任意のテキストファイルに対して反映できるテンプレートエンジンのライブラリです。初版リリースはこの記事を執筆している時点で3年弱くらい前なので比較的新しいライブラリになります。 以下に書かれているようにDjangoのテンプレートの機能がベースとなっており、Djangoに慣れている方であればほぼ学習コスト0で書けるような書き方になっています。 Djangoのテンプレートエンジンにインスパイアされているので、パッと見はDjangoのデフ
dbt Tokyo meetup #3 https://dbt-tokyo.connpass.com/event/246144/
10X Product Blog
データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 10X社内では2022年10月にデータマネジメント成熟度アセスメントを実施していましたが、それから約一年半が経過し、データマネジメント上の課題が進捗 / 変化した箇所が出てきました。そこで、最近の成果を振り返りつつ今後のデータマネジメントの方針を改めて見直すため、データマネジメント成熟度アセスメントを再度行なうことにしました。本エントリではその内容についてまとめます。 前回のデータマネジメント成熟度アセスメントへの取り組み 今回のデータマネジメント成熟度アセスメントのやり方 成熟度アセスメントの実際の結果 前回実施時との差分が大きかった項目 データセキュリティ データ品質 メタデータ 優先度が高かったにも関わらずあまり進まなかった項目 まとめ 前回のデータ
組織におけるデータ利活用が急速に拡大する中、データ基盤への関心がますます強まっています。 本書では、現役のデータエンジニア２名が、クラウドデータ基盤サービスであるSnowflakeを用いてデータ基盤の構築方法を紹介します。 データ利活用のみならず、大規模なデータ処理や、機械学習におけるデータパイプライン構築などに興味のあるエンジニアの方へのガイドブックとなることを目指しています。 フロント・サーバー・インフラを触ってきたエンジニアの皆さん、次はデータやりましょう！！ 第1章：データ基盤の概観 データ基盤とはどういったもので、どのような技術で構成されるのかについて紹介します。 第2章：Snowflakeの基礎 クラウド型データウェアハウスサービスであるSnowflakeで出来ることと、特徴について紹介します。 第3章：Snowflakeの導入と操作 実際にSnowflakeのトライアルに登録
DockerコンテナにOracle Database 19c をインストールして、Windows 側から接続 - ts0818のブログ
（この方法は dbt のincremental modelsに関するドキュメントの models/stg_events.sql を参考にしています） この方法は差分データ抽出する際にデータソース側でデータ変更が発生していなければ概ね問題ないのですが（データソース側でレコードがDELETEされるケースを考慮しなければ）、データソース側でデータの追加・更新が発生している場合は、差分データを抽出し損ねる可能性があります。 例えば以下のようなケースです。 トランザクション①が購入ID=101のレコードをINSERTするが、何かの原因（別の処理をする、ネットワークで少し待たされるなど）でコミットはすぐにはされない。 トランザクション②が購入ID=102のレコードをINSERTし、すぐにコミットされる。 1回目の差分データ抽出の処理が動く。この時点で購入ID=102のレコードはコミット済みのため抽出さ
[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO
[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 先日2024年02月20日(火)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第1回開催回である『データメッシュによるデータガバナンス編』を開催しました。 当エントリではその内容についてレポート致します。 目次 イベント概要 イベントレポート データ活用支援サービスのご紹介 イチから学ぶデータメッシュによるデータガバナンス 全体質疑応答 まとめ イベント概要 第1回目となる今回取り扱うテーマは『データメッシュによるデータガバナンス』です。 イベントレポート データ活用
![[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6088af668a26aa844cbd90c023a1cba2783d0e89/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F02%2F20240220_data_application_webinar_w1200h630.jpg)
[2024年4月10日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催中 現地時間の2024年4月9日～11日に、Google Cloud Next '24が開催されています。 データ分析基盤に関連するところだと、Gemini in Looker、Gemini in BigQuery、Gemini in Lookerなどの発表が該当すると
![[2024年4月10日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e696404619eb3f6e7bf57f8e876300be7b794def/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F05%2Feyecatch_moderndatastack_1200_630.jpg)
DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべがありません。 しかし、日々のデータ処理は簡単に意図しないデータを生み出してしまう可能性があります。気づいたらデータの中身が変わっていて、変換処理が意図しない動作をしてしまっていたり、そもそもソースデー
Many database systems provide sample databases with the product. A good intro to popular ones that includes discussion of samples available for other databases is Sample Databases for PostgreSQL and More (2006). One trivial sample that PostgreSQL ships with is the Pgbench. This has the advantage of being built-in and supporting a scalable data generator. MySQL has a popular sample database named S
ユーザー向けプロダクトだけが全てじゃない、テクノロジーで事業にレバレッジを掛けるプレックスのコーポレートエンジニア - PLEX Product Team Blog
eye-catch こんにちは、プレックス コーポレートエンジニアチームの石塚です。 はじめに みなさんは「コーポレートエンジニア」という単語を聞いたことがあるでしょうか？ 情シスや社内SEのようなイメージを持たれる方が多いかと思いますが、わざわざ別の単語を用いて表現しているからには、若干違うニュアンスが込められているはずです。 プレックスにおいても2022年中頃からコーポレートエンジニアというポジションをオープンし、採用を進めてきました。 その際、候補者やエージェントの方にコーポレートエンジニアのニュアンスが間違って伝わっていることが少なからずあり、今回のエントリーを書いてみようと思いました。 本ブログでは、他社のコーポレートエンジニアの事例を見ていった後に、プレックスにおけるコーポレートエンジニアの定義や実際に直近で取り組んでいる課題、技術スタックをご紹介します。 はじめに 他社のコー
[新機能]MetricFlow統合後のdbt Semantic Layerが一般提供になったのでsemantic_modelsとmetricsを定義しdbt Cloud CLIから参照してみた | DevelopersIO
リクルートが考える『意思決定に効くデータマネジメント』〜アナリティクスエンジニア組織の立ち上げと事例紹介〜 レポート｜よしむら＠データマネジメント担当
概要リクルートのデータ組織についてリクルートはマトリクス型組織で、データ系の部門は横断組織としてサービスを担当している。 その一つの職種として、アナリティクスエンジニアというJDを定義して募集している。データアナリストとデータエンジニアの懸け橋となる存在。 dbt Coalesce 2022とはdbtが主催しているアナリティクスエンジニアのカンファレンス Semantic Layer：散らかりがちな重要指標をdbt内で一元管理して、API越しに呼び出すことが可能になる機能。 Headless BI：BI内にビジネスロジックを持たずにセマンティックレイヤーで集計済みのメトリクスを使うことで集計が異なることを防ぐ。 ダッシュボードをコードで管理することでバージョン管理が容易になりました。 dbt Python サポート：SQLに加えてPythonでモデルを記述することができるようになった。SQ
DevelopersIO 2022 データ活用に注力できるデータ基盤「クラスメソッドのModern Data Stack」について紹介しました #devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022 〜技術で心を揺さぶる3日間〜の2日目、2022年7月27日に「データ活用」に注力できるデータ基盤を構築しませんか？～クラスメソッドのModern Data Stackのご紹介～というタイトルで登壇しました。 本ブログではこの登壇内容について、まとめたいと思います。 登壇概要 概要 昨今ビジネスの環境が目まぐるしく変わる中、「これまでの経験」や「前例踏襲」のビジネスのやり方では対応できなくなってきているケースが多くなり、データを活用して、データに基づいた意思決定を行おうとする組織が増えていると思います。 一方で、データを活用するためには「データ基盤」が必要となるのですが、このデータ基盤の構築に苦労し、本来すべきデータ活用に注力できていない組織も多いのではないでしょうか。クラスメソッドでは複数のSaaSを組み合わせて簡単にデータ基盤を構築する「
[2024年4月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催されました 現地時間の2024年4月9日～11日に、Google Cloud Next '24が開催されました。 発表された機能は以下の公式ブログにまとまっております。 特にModern Data Stackに関連する所だとBigQueryが挙げられると思いますが、Bi
2024年3月19日 Tokyo dbt meetup #8 で発表した資料です。 dbtのincrementalモデルについて、基本的な挙動から、dbtでどのような処理が行われているかの詳細まで網羅的に解説しました。
スマキャンが新データ分析基盤のBIツールにLookerを選んだ理由 - SMARTCAMP Engineer Blog
こんにちは！スマートキャンプエンジニアの井上（エース）です！ 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか？ データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社のBOXIL SaaSに新しいデータ分析基盤を導入することになったので、その背景や導入にあたって課題だったこと、その対策などを書いていこうと思います。同じようにデータ分析基盤を導入しようとしている方の参考になれば幸いです。 元の基盤の課題 クエリの乱立とデータ定義のバラつき クエリ作成依頼についてのエンジニアの対応コストが高い データ分析ツールの統一 パフォーマンス 新しいデータ分析（BI）ツールに求められたもの Lookerの選定理由 LookMLによる統一的な管理 ドキュメントの充実度 プルリクベースでの開発 実際のアーキテクチャの紹介 導入にあたって課題だ
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
カマボコテントのポールは細いんだけど、強風に一晩耐えた。ちょっと見直したぞ。 でも、次のテントは強風にも安心なタイプを選びます。 そしてお友達はキャンプ沼にハマり始めた。 - あおぞらごはん
夜中の強風タイム テントのポールが風に耐えられるか心配 その日は夕方から風が強くなってきた。 遠くから風が向かってくるのがわかる。 グオーォォォって鳴ってきて、 ブワァーーーって感じ。 風の音がうるさい！のもありますが、 テントの崩壊が心配で眠れない。 コットに寝ながら、壁を見てたらテントが柔軟に風を流してます。 結構フレームが曲がっているので心配でしたが、どうしようもないです。 ソロキャンプにオススメなカマボコテントミニ 我が家のカマボコテントミニはフレームが細い。 あれだけのカーブを作るんだから細いのも当然。 以前に強風でフレームが曲がっちゃたのです。 フレーム代3000円位するんだよね。 もうお祈りするしかない。 【レンタル】DODカマボコテントミニ〔ドッペルギャンガーアウトドア〕【レンタルテント】【往復送料無料】簡単設営 ファミリー キャンプ 宿泊 家族 春キャンプ 夏キャンプ 秋
ミツモアを支えるデータ分析基盤あるいはStitchとdbtを用いたELTについて - ミツモア Tech blog
※ こちらはミツモアAdvent Calendar 2021の12/20分の記事です。 こんにちは、ミツモアCTOの柄澤（@fmy）です。今回は、ちょうど1年半前ぐらいに整備したミツモアデータ分析基盤についてご紹介いたします。（記事にするのが遅くなってすみません） 全体像 ミツモアのデータパイプラインの全体像は以下のようになっています。 ミツモアのデータパイプライン このパターンはETL（Extract / Transform / Load）ではなくELTと言われ、ExtractとLoadを行ったのちに、データウェアハウスの中でTransformを実施する戦略となっています。BigQueryに代表される今日のデータウェアハウスは膨大なデータを保持し、大量の並列処理を可能とする能力があるので、一旦データウェアハウスにあらゆるデータを入れたのちに、自由にデータの変換処理をする方が筋が良いように
dbt認定試験「dbt Analytics Engineering Certification Exam」概要を読んで何を理解しておくべきか、どんなスキルが求められるのかを把握する #dbt | DevelopersIO
dbt認定試験「dbt Analytics Engineering Certification Exam」概要を読んで何を理解しておくべきか、どんなスキルが求められるのかを把握する #dbt dbtでは、dbtを扱う上で必要とされるスキルを証明するものとして認定試験が用意されています。合わせてドキュメントとして展開されている『dbt Analytics Engineering Certification Exam』では、『dbtを使ってモデルを構築、テスト、保守して、他の人がデータにアクセスできるようにする』『dbt を使用してエンジニアリング原則を分析インフラストラクチャに適用する』ことが出来るようになるためにはどういう部分を押さえておけば良いのか、が端的に紹介されています。 dbt Analytics Engineering Certification Exam そこで当エントリでは、
BigQueryへのクエリ発行・管理に「dbt CLI on Windows」を使ってみる | DevelopersIO
※Microsoft StoreからPythonをインストールしている場合は「C:\Users\<username>\AppData\Local\Microsoft\WindowsApps」配下に各バージョンのPython実行用exeファイルがインストールされています。 Windowsで過去バージョンと現在バージョンの両方を使い分けたい場合は、pipenvを利用する方法があります。 pipenv --python 3.8 > pipenv shell pythonの複数バージョン（3.8と3.9など）をインストールしている環境では、 pipenvでpythonバージョンを指定して仮想環境を立ち上げることができます dbt CLIのインストール dbt CLIは、homebrew、pip、sourceのいずれかで入手できます。本ブログではpipインストールを行います。 ＜仮想環境の作成＞ >
大阪オフィス所属だが現在は奈良県でリモートワーク中の玉井です。 dbtは、ELTのTをソフトウェア（またはアプリケーション）と同じように開発することができるサービスです。しかも、SQLのSELECT文さえ分かっていれば、もう早速使うことができてしまいます。 ただし、SQLはいわゆる宣言型言語で、柔軟なデータモデルを作るためには限界があります。そういう時のために、dbtはjinjaという言語が使えるようになっています。 今回はjinjaのチュートリアルを「実際にやってみつつ」、どういう事ができるかをご紹介したいと思います。 そもそもdbtとは？という方へ 下記をご覧ください。 Jinjaに関する公式情報 本家 本記事では下記に記載されているものを実際にやってみます。 やってみた Projectを新規作成する 今回の作業用に新規Projectを用意します。具体的な方法は上記の別記事をどうぞ。ち
この記事は、Money Forward Engineering 2 Advent Calendar 2022 2日目の投稿です。 はじめに Data Source Management 🧹 部署と職種の粒度を再定義 求人 - 部署 - 職種の辞書データを作成&維持管理 ATSデータ品質をdbtでモニタリング Extract & Load 🚛 GitHub Actionsフル活用 Workload Identity連携 毎朝dbt source freshness Transformation 🍳 ワイドテーブルを採用 macroで表記揺れ管理 3層モデル Use 🍱 スプシ/BI 権限付与もdbtに任せる Development 💻 elementaryとPiperider Docs類はGAE GitHubと社内Wikiを同期 品質モニタリング用テーブルを用意 dbt-osmos
[2023年5月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Enterprise Tech 30(2023)が公開 Wing社によって取りまとめられ、ベンチャーキャピタリスト96名と各企業の開発責任者30名により評価されたテック企業の一覧として「Enterprise Tech 30」がありますが、この2023年版が公開されました。 Modern Data Stack界隈だと、
はてなブログ独自の集計による人気記事のランキング。3月3日（日）から3月9日（土）〔2024年3月第2週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 無印良品のランドセルの思い出 - プロムナード by id:konyadou 2 【翻訳】テスト駆動開発の定義 - t-wadaのブログ by id:t-wada 3 27歳年収420万非モテ男がマッチングアプリ始めた結果がヤバすぎる - 人生万事こじらせるべからず by id:tomananaco 4 第11回ハヤカワSFコンテスト特別賞受賞作にして、刺さる人にはこれ以上なく深く刺さる物語──『ここはすべての夜明けまえ』 - 基本読書 by id:huyukiitoichi 5 Notionを使って自分だけの参考サイト集を作ってみる - paiza times by id:paiza 6 おすすめの個人サイトや個人ブログを
【レポート】キーノート：「自動化されたデータ統合の未来」- Modern Data Stack Conference 2020 | DevelopersIO
2020年10月21日～22日にかけて、Fivetran社が主催するオンラインカンファレンスイベントであるModern Data Stack Conference 2020が開催されました。 オンラインイベントながら、かっこいいTシャツがイベント当日に間に合うよう、アメリカからはるばる送られてきました。「日本にいながらイベントに参加してるぞ！」なんて一体感を感じられますね。 本エントリでは、キーノート「The Future of Automated Data Integration（自動化されたデータ統合の未来）」についてレポートします。 セッション概要 スピーカー Fraser Harris, VP of Product @ Fivetran Tristan Handy, CEO & Founder @ Fishtown Analytics 内容 Fraser氏とTristan氏は、信頼
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 以前執筆、公開した下記のエントリは、dbtでSELECT文以外のDML/DDLを扱う時に「こういう風にSELECT文に置き換えると良いですよ」という案内、紹介をするものでした。 この中で「ストアドプロシージャの移行」に関するトピックもあったのですが、このエントリ内では情報源の紹介のみに留まる形としており、詳細な内容の紹介はしていませんでした。 ですのでその部分の紹介を当エントリで進めていこうと思います。 目次 なぜストアド・プロシージャの代わりにdbtモデルを使うのか ストアドプロシージャの問題点とは 代替案としてdbtを検討する理由 ストアドプロシージャからdbtへの移行手法 ステップ0: dbtの仕組みを少し理解する ステップ1: dbtとストアドプロシージャの違いを理解する ステップ2: スト
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
"the most popular OSS data projects"を眺めてみる（1位〜10位）
corp/dbt_style_guide.md at main · dbt-labs/corp
データ基盤で動いているSQLに手を加えることなく dbt を導入する
中国人民解放軍の軍用機11機が台湾空域に侵入 2月としては最大規模 - 黄大仙の blog
ザ・クラウン | Netflix (ネットフリックス) 公式サイト
What is Analytics Engineering?
Jinjaテンプレートの書き方をがっつり調べてまとめてみた。 - Qiita
完全に理解した incremetal 〜そして、何もわからないへ〜
ゼロから始めるデータ基盤 - Snowflake実践ガイド
DBからの更新日時に基づく差分データ抽出 - Qiita
データテストライブラリー「Deequ」を触ってみた - 終末 A.I.
Sample Databases - PostgreSQL wiki
incrementalモデルの理解を深める
攻殻機動隊 SAC_2045 | Netflix (ネットフリックス) 公式サイト
dbtでJinjaを利用して柔軟なデータモデルを開発する | DevelopersIO
People Modern Data Stack '22 - 左肩上がり
アドホックに作ったdbtのモデルのライフサイクルを管理する - yasuhisa's blog
今週のはてなブログランキング〔2024年3月第2週〕 - 週刊はてなブログ
ストアドプロシージャからdbtへの移行手順 #dbt | DevelopersIO