dbt 1.8のUnit Tests 実施とその知見（時間ロックとSQLの分割について） - Timee Product Team Blog
株式会社タイミーのkatsumiです！ dbtのバージョン1.8以上を利用することで、unit testsが利用可能になります。今までもSingular テスト（単一テスト）やGeneric テスト（汎用テスト）は可能でしたが、テストデータを利用した単体テストも行うことができます。 導入準備 dbt-coreの場合 dbt v1.8 以上を利用してください。 dbt-cloudの場合 2024/06/12時点では dbt「Keep on latest version」を選択することで利用できます。 弊社ではunit-test用の環境のみlatest versionを利用しています。 Unit Testの基本 # run data and unit tests dbt test # run only data tests dbt test --select test_type:data #
データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
https://www.meetup.com/ja-JP/tokyo-dbt-meetup/events/301497854/?isFirstPublish=true こちらのdbt tokyo meetup #9の登壇資料です
Tokyo dbt Meetup #9 の発表資料です。
OODAふりかえり 何って…ただ毎スプリント、違うふりかえり手法を採用してるだけだが？ / Retrospectives with OODA
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり
はじめに 初めまして。プラットフォーム開発部にてデータ基盤の整備をしているazukiと申します。 今回はdbt(Data build tool)を導入した経緯と非中央集権的なdbtの使い方についてご紹介したいと思います。 今回は導入に関してまとめていますので、dbtの運用面の詳細は別記事で解説予定です。 データモデリングツール導入の背景 ピクシブではプロダクトの多さを理由に非中央集権データ組織を採用しています。 ドメインチームがメインでデータの取り組みやデータモデリングを行い、データ駆動推進室やデータ基盤チームはそのサポートや整備を担当しています。 その背景に関しては、【PIXIV MEETUP 2023】の方でお話していますのでぜひご覧下さい。 speakerdeck.com 今までBigQueryのデータ加工SQLは自社で開発したツールで管理していました。 pythonから変数埋め込み
【資料公開】AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech | DevelopersIO
Amazon AthenaとAWS Step Functionsで作る簡単なETLの仕組みのメリットと、さらに必要とされる要件に対してなにが求められるのかについて発表しました。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 2024年6月12日にクラスメソッドの大阪オフィスで開催された勉強会Midosuji Tech #1で『AthenaとStep Functionsで簡単ETLオーケストレーション』というタイトルで話しましたので資料を公開します。 当日は淀屋橋の大阪オフィスでオンサイトでイベントが開催されました。発表後にはワイワイガヤガヤタイムということで、参加者の方も交えたディスカッションが大変盛り上がりました。 発表資料 ポイント Step FunctionsのAPI統合で、S3バケットに配置したSQLファイルをステートマシンから読み込み、Athen
dbt Semantic LayerとSteepで実現するデータ民主化 - Gaudiy Tech Blog
2024年度「大転職時代」における人的資本経営のトレンドと対策「2番目の報酬」「CQマネジメント」「アルムナイ」「パフォーマンスマネジメント」｜谷本 潤哉 - 株式会社O: CEO
2024年度「大転職時代」における人的資本経営のトレンドと対策「2番目の報酬」「CQマネジメント」「アルムナイ」「パフォーマンスマネジメント」 2024年度は「大転職時代」と称され、企業の人的資本経営における新たなトレンドと対策が必要不可欠となっています。 経済のグローバル化、テクノロジーの進化、労働市場の流動性の増加に伴い、従業員と企業の関係性は一変しました。 この新しい時代に適応するためには、企業は伝統的な経営戦略を見直し、2つめの報酬、CQ（文化的知性）・越境マネジメント、アルムナイ施策、パフォーマンスマネジメントといった分野におけるアプローチを取り入れる必要があるのではと考えてご紹介します。 人的資本経営のトレンドを深掘りし、企業が直面する課題に対して実践的な対策を提示しますが、組織の持続可能な成長と従業員の満足度向上を目指す企業にとって、これらのトピックは避けて通れない重要事項と
[2024年6月6日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Data Extract/Load Fivetran 「Fivetran Managed Data Lake Service」を発表 Fivetranが新機能として、「Fivetran Managed Data Lake Service」を発表しました。 基本的には、宛先にS3、Azure Data Lake Storage、Microsoft OneLa
![[2024年6月6日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e696404619eb3f6e7bf57f8e876300be7b794def/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F05%2Feyecatch_moderndatastack_1200_630.jpg)
2024年度 サイバーエージェント新卒社内研修の「データモデリング」の資料公開 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、先日弊社内で実施をしたAI事業本部 新人研修の一部である「データモデリング」について記載をします。 同じく講師として登壇をした yassun7010 も「データベースの歴史」について、ブログとして公開をしているため、合わせて見ていただけると嬉しいです。 ※今回の記事作成に合わせて一部加筆修正をしています。 基幹系と情報系 今回の研修では、データモデリングを扱うシステムを 基幹系 情報系 に分けて説明をしています。 というのも基幹系と情報系では、そもそもデータの扱われ方やシステムの特性が異なります。 基幹系システムではOLTPと呼ばれる処理システムになっており、オンラインでかつリアルタイムにデータを追加更新します。そのため、重要となってくるのが多くのトランザクション（処理数）を正確にさばくことです。代表例としては銀行の
Snowflake Summit 2024で発表されたアプリケーション機能群のアップデートポイント - Qiita
はじめに 本記事は、Snowflake Data Cloud Summit 2024 の Platform Keynote で発表されたデータアプリケーション機能に関連するアップデート情報を紹介します！セッションとしては、後半の後半のあたりに該当する部分です。本キーノートの配信を視聴することもできるので、気になる方はぜひ御覧ください！ 本記事では、下記の項目で解説します。 Snowpark for Python Snowflake Notebooks Snowflake Cortex Snowpark Container Services Hybrid Table Dev/MLOps また先日、同様のカテゴリで各機能の概要を解説した記事も投稿しています。ぜひあわせて御覧ください！ 概要 Platform Keynote では、様々なアップデートの発表がありました！特に、アプリ・LLM 系の
こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 Classiでは、2019年ごろからデータ基盤に「ソクラテス」の愛称をつけて運用を続けています。初期の構成は2021年に書かれたエントリ*1にも詳しいですが、数年の間に進化したことも増えてきました。 大きな変化の一例として、最近、私たちのチームではdbt*2を導入してジョブ間の依存管理やメタデータの管理を改善しました。 本記事ではこの取り組みをピックアップして紹介します。また、進化したソクラテスの構成図をアップデートするとともに、Classiデータプラットフォームチームの最新版の雰囲気もお伝えできればと思います。 dbt移行前の構成 ジョブ間の依存管理がつらい メタデータの管理がつらい 過去との差分と、移行への機運 周辺ツールのエコシステムが整った エンジニア以外のメンバーがPull Requestを出すことが減った
『我が社のデータエンジニアリング現場』を開催！イベントレポートをまとめました - Chatwork Creator's Note
こんにちは! タダケン(@tadaken3)です。 Chatworkのプロダクト組織でデータアナリストをしています。 今回の記事では2024年5月22日に開催した『我が社のデータエンジニアリング現場』のイベントについてまとめました！ Chatworkのデータエンジニアとデータアナリストが登壇して、データ基盤開発のあれこれをたくさんお話しさせていただきました。 イベントには、オンライン・オフライン合わせて、40名を超える方にご参加いただきました！ ご参加いただいた方ありがとうございます。 イベントに参加できなかった人も、ぜひ、こちらのブログを読んで参加した気分になってもらえると嬉しいです。 オープニングトーク プラットフォームエンジニアリングの理想と現実 〜希望の光はTVP〜 新米アナリストがデータ基盤開発って、無茶振りじゃないですか？ 我が社が考える最強のデータ基盤・開発体制！アナリスト
データ基盤Visionの進化の軌跡-事業の成長と共に歩んだ道のり - CARTA TECH BLOG
こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804 です。 2022年に生まれたCARTA MARKETING FIRMのデータ基盤Visionがどのような背景から生まれ、進化してきたのかを振り返り、Visionの"Why"を残す試みです。 2020年：レポート基盤刷新プロジェクト Visionの前身となるプロジェクトが、2020年にCARTA MARKETING FIRM(当時はZucks)の新DSP立ち上げをきっかけに、既存のレポート基盤刷新プロジェクトが始まりました。 図: 旧DSPのレポート基盤 旧DSPのレポート基盤には以下のような問題がありました。 レポートの軸を増やすことが難しい。 データソースが分散していて数字がズレる。 トラブル発生時の再取り込みが困難。 これらの問題を根本的に解決するため、アーキテクチャやデータストアの選定か
データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
dbt Cloud での開発を自動化する強力な人工知能(AI)コパイロット機能『dbt Assist』がアナウンスされました。 #dbt | DevelopersIO
日本時間2024年05月15日 午前1時から開催されていたdbt Cloudのウェビナーイベント『dbt Cloud Launch Showcase』。こちらのイベントで数多くの新機能、GAリリースの情報がアナウンスされていたのですが、その中でかなりインパクトの大きい新機能がアナウンスされていました。 当エントリではその中から『dbt Assist』という機能についてその概要を紹介したいと思います。 目次 前置き 『dbt Assist』の紹介 まとめ 前置き 冒頭紹介したイベント自体は日本時間2024年05月15日午前01:00〜02:30の90分の枠で行われていました。前半では近年どのサービスでも言及されているように、サービスxAIが如何に重要であるかをデータを元に解説。 分析用のデータを準備するときに最も困難だと思うことは何ですか? - 10年前の最も困難な問題は、少なくともdbtユ
SQLに慣れていない人でもdbt Cloud上でモデル開発が出来るように！ 『ローコードエディタ』機能がアナウンスされました。 #dbt | DevelopersIO
日本時間2024年05月15日 午前1時から開催されていたdbt Cloudのウェビナーイベント『dbt Cloud Launch Showcase』。こちらのイベントで数多くの新機能、GAリリースの情報がアナウンスされていたのですが、その中でかなりインパクトの大きい新機能がアナウンスされていました。 当エントリではその中から『ローコードエディタ(low-code editor)』という機能についてその概要を紹介したいと思います。 ローコードエディタとは dbtは製品概要を紹介する時に良く『SQLが書ければ扱えるサービスである』というフレーズが用いられます。ELT処理における変換処理(T:Transform)を、『モデル』と呼ばれるファイルの中にSQL文(基本的にはSELECT文)を書くことで定義し、その定義したファイルをモジュールとして管理連携することでやりたい処理を実現しています。 但
Data Contract CLI から考える Data Contracts ファーストのデータパイプラインの未来
このポストについて#Data Contract CLI を触ってみたところ、面白かったのとこれからのデータパイプライン開発について思うところがあったので書いてみる。 Data Contract CLI とは？#datacontract/datacontract-cli Data Contract CLI は data contracts を運用するためのオープンソースのコマンドラインツールである。 data contracts の概念については以前の記事で詳しく書いているのでそちらをご参考いただければと。 ただしこちらの記事は1年前のものであり、今回取り上げる Data Contract CLI の登場などを含めて現在では data contracts を取り巻く状況も変わっている可能性があることに注意。 Data Contract CLI は Python で開発されており、pip でイ
広告プロダクトにおけるデータ基盤の民主化 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデータ基盤を効率よく活用することを目指したこの1年間を振り返って、データ基盤から広告プロダクトの価値を高めるための試行錯誤をご紹介します。 目次 データ基盤の構成紹介 データ基盤の活用および運用方法 手動作業での事故が起きないCI/CD構築 実験ができる環境の提供 コストの確認および監視 定期的な棚卸し データ基盤の民主化をした結果と課題 まとめ データ基盤の構成紹介 以前弊社のイベントに登壇した際の設計思想をもとに構築をしています。 このデータ基盤の利用目的としては、各広告媒体の配信結果を分析するための基盤となっています。 基盤の構成としてはStorageにRaw Dataを格納し、Datalake、DWH，Datamartの3層構造で基盤を構築しています。 主に使用しているツール/サービスと
データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 最近、社内でディメンショナルモデリング勉強会を行なったですが、なぜ勉強会を行なったのか、どのように行なったのか、勉強会を行なった結果何が得られたかについてまとめます。 ディメンショナルモデリング勉強会開催の背景 勉強会の進め方やスコープ 勉強会の参加者 勉強会で学んだ内容 Four-Step Dimensional Design Process キーの設計について 複数スタースキーマを適切に利用し、ファントラップを避ける コンフォームドディメンション まとめ: 勉強会で得られたもの ディメンショナルモデリング勉強会開催の背景 前回のエントリにまとめた通り、10Xのデータマネジメントの課題の中でも「データウェアハウジングとビジネスインテリジェンス」は優先度が
プロダクトの機能・データについて理解を深める「輪テーブル会」の紹介 - Techtouch Developers Blog
はじめまして、テックタッチで DataEnabling チームのエンジニアマネージャーをしているtaker です。 DataEnabling チームでは、社内の様々な組織のデータ活用をより推進し、プロダクト開発やカスタマサクセスを強化するためデータ基盤の改善や社内からの様々な依頼について日々取り組んでいます。 この記事ではそんな私達のチームが、チーム内でデータに関する知識を共有するプラクティスについて共有させていただくため、一筆したためました。 はじめに 取組内容について 進める上で気をつけている点 実施した結果良かったこと 終わりに はじめに データ活用を進める上では、プロダクトのデータ構造や機能とデータの対応関係について精通している必要があります。 例えば、カスタマーサクセス（CS）から「 xx の機能を有効にしている顧客数を知りたい」という問い合わせがあった際「 xx の機能」が「ど
Building an Efficient ETL/ELT Process for Data Delivery
“Data is the new oil” — a statement that has underscored our approach to data management over the past decade. We’ve dedicated ourselves to gathering, processing, and analyzing vast volumes of data to fuel our journey towards becoming a data-driven organization. However, with the rise of ChatGPT, collecting over 1 million users in just 5 days, the landscape has shifted. This phenomenon has sparked
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
こんにちは！データサイエンスグループの山本です（ @__Y4M4MOTO__ ）です。 さて、ヤプリのデータサイエンスグループ（以下、DSグループ）では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Yappli Tech Conference 2023 にて発表しているので、そちらをご覧いただければ幸いです。 tech.yappli.io dbt 移行に伴い、ヤプリの各種サービスが参照しているデータマートも dbt 移行後のものへ切り替えを行っています。 dbt 移行後の分析用データ基盤（以後、 dbt 基盤）の運用が本格化してきたことで、その開発フローの方も併せて改善していきました。 この記事では、その時の話について記したいと思います。 なお、開発フロー改善は分析ツール「 Yappli Analytics 」のデ
[2024年4月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催されました 現地時間の2024年4月9日～11日に、Google Cloud Next '24が開催されました。 発表された機能は以下の公式ブログにまとまっております。 特にModern Data Stackに関連する所だとBigQueryが挙げられると思いますが、Bi
Netflix Japan - Watch TV Shows Online, Watch Movies Online
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
【資料公開】〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで #devio_osakaday1 | DevelopersIO
DevelopersIO OSAKA Day One -re:union-にて発表した資料を公開します。 データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。 2024/4/11に、淀屋橋に移転したクラスメソッド大阪オフィスにてDevelopersIO OSAKA Day One -re:union-を開催しました。ご来場いただいたみなさま、ありがとうございました！ 当日の様子はXのハッシュタグ「#devio_osakaday1」でもご覧いただけます。 私が所属するデータアナリティクス事業本部は、niinoとNayuta S.の2人で「〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで」というセッションをお届けしました。 概要 パブリッククラウドのアナリティクス系サービスやdbtのようなOSSを使ったデータ分析基盤構築から、BI・機械学習サービスを
Data Observability の概要
本記事は、某コミュニティで Data Observability について議論するために書き下したメモです。もし Data Observability について議論されたい方は気軽にコメントください。 概要 Data Observability を直訳するとデータの可観測性。あくまでデータを観測できるようにする技術分野であって、 Data Observability すなわち、データ品質ではない。 本来の意味合いは、外部から観測可能な出力を使って、複雑なシステムの内部状態や振る舞いを観測可能にすること。それにより、対象システム（あるいはデータ）をより理解できるようにする。よく理解できるようにした結果、データの品質やパフォーマンスの最適化などの取り組みを楽にできる場合がある。ただし、ツールやサービスを入れると自動的に実現できるわけではない。 語源は制御工学分野の Observability
追記(04/14)今時点で頂いているトラバもブコメもすべて目を通しました。 はてなの皆さん、増田の皆さんたくさんの反応ありがとうございます。 どうしたもんかと悩んでる状況の中で、エージェントの人に話してもあまりピンと来ない反応が返ってくるし、周りに相談出来る人もいないしで、かなり勇気づけられました。 とりあえず今時点で返せる分だけお返事返しておこうと思う。 フィヨルドブートキャンプやれば？ 恥ずかしながらこんなサービスがあるのを知りませんでした。 今の状況では1000時間学習してから転職ってのは難しいんだけど、転職活動終えたら利用してみたいなという気持ち。 開発に夢見すぎ 自己評価低い その通り、かもしれない。 技術記事とか書いてアウトプットしてる同世代以下の優秀な技術者たち見てて、自分とのスキルギャップに絶望してたところだったんだ。 5年弱ぐらいローコードじゃなくて、コーディングで実務経
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
dbtの認定試験『dbt Analytics Engineering Certification Exam』が5月から新しくなるようです #dbt | DevelopersIO
dbtの認定試験『dbt Analytics Engineering Certification Exam』が5月から新しくなるようです #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtでは認定試験が展開されていますが、その中の1つ『dbt Analytics Engineering Certification Exam』が2024年05月から新しくなるようです。(公式ページを覗いてみたらそういう案内がされていました) 日付的には2024年05月01日から変わる模様。 当エントリでは、以前のものとどういう部分が変わっているのかについてその内容を確認してみたいと思います。 対象となるdbtのバージョンについて まずはじめに、一番分かりやすい変更点から。対象となるdbtのバージョンが従来の『1.1』からほぼ最新の『1.7』となります。
[2024年4月10日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催中 現地時間の2024年4月9日～11日に、Google Cloud Next '24が開催されています。 データ分析基盤に関連するところだと、Gemini in Looker、Gemini in BigQuery、Gemini in Lookerなどの発表が該当すると
CARTA MARKETING FIRMのデータサイエンス、データエンジニアリング基盤の変遷に迫る - CARTA TECH BLOG
TL; DR CARTA MARKETING FIRMでは、データサイエンティストが本質的な価値創出に専念できる分業体制を目指す過程にある Snowflake中心のデータ基盤を活用しながら、プロダクトチームがプロダクト要件に合わせたデータ設計を行える組織体制を実現 プロダクトチームとデータサイエンティストが密接に協業しプロダクトドメインを吸収できるチーム体制へ移行 データサイエンティストが開発したモデルを短期間で検証・実装・改善するフィードバックループを実現できる環境を整備しつつある CARTA MARKETING FIRMとは？ CARTA MARKETING FIRMでは、”クライアントの事業を進化させる”をミッションに、以下4つのサービスを運営しています。 広告代理事業を展開する「ATRAC」と「CARTA AGE」 国内最大級のスマートフォンアドネットワークやグローバル広告主向けに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbt+GCPで実現するPII管理と�一時権限付与の実装
dbt v1.8で追加された単体テストを触ってみた
dbt Semantic Layer ( MetricFlow ) の理解を深める
dbt導入におけるデータモデリング環境整備 - pixiv inside
dbtを導入した話、そしてClassiのデータ基盤「ソクラテス」の現在地 - Classi開発者ブログ
エンジニア向けのBIツール、QuaryをBigQueryに接続して使ってみた | DevelopersIO
ディメンショナルモデリング勉強会を実施しました - 10X Product Blog
T・Pぼん | Netflix (ネットフリックス) 公式サイト
アドホックに作ったdbtのモデルのライフサイクルを管理する - yasuhisa's blog
自閉症の人の「頭を壁に打ちつける」自傷行為。対処するために - 発達障害ニュースのたーとるうぃず
dbt 基盤の開発フローを改善した話 - Yappli Tech Blog
市場価値のない無能が勢いでSES企業を辞めたのでご相談
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO