データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜
SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年間使用してきたRedshiftからSnowflakeへ移行した際の手法やツール、検証内容や両DWHの差異などについて詳しく語りました。 スライド内で発表した移行ツールはOSSで公開中です。 https://github.com/tvision-jp/redshift-to-snowflake-migration-utils https://revisio.co.jp/
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
Streamlit 入門｜npaka
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools
公開日 2024/03/11更新日 2024/03/12大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 ■目次 ・株式会社Algoage ・株式会社GROWTH VERSE ・株式会社マイナビ ・ノバセル株式会社 ・株式会社セゾン情報システムズ 株式会社Alg
カイロスロケットは、和歌山県にある専用の射場「スペースポート紀伊」から13日の午前11時1分に打ち上げられた。しかしリフトオフの約5秒後に空中で爆発。射場の敷地内に破片が降り注ぎ、一部で火災も発生した。 その後、行われた記者会見では、発射後に何らかの異常が発生し、ロケットの「飛行中断システム」が爆破したという見方を明らかにした。「リフトオフすると飛行経路や各部の正常／異常をコンピュータが判断する。逸脱する場合には落下しても安全な場所で中断する」仕組みだという。 結果としてミッションは完遂できなかった。しかし豊田社長は「スペースワンとしては“失敗”という言葉は使いません。全ては今後の挑戦の糧。会社の文化です」と話す。そして「2020年代半ばまでに年間20機の打ち上げ」という目標を変えるつもりは「全くない」としている。 スペースワンは研究機関ではなく、株主や顧客がいる営利企業だ。現在は投資フェ
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
スノーフレイク (SNOW) の技術的な企業分析
Snowflake（SNOW）は、2012年に設立されたクラウドベースのデータウェアハウス企業である。カリフォルニア州サンマテオに拠点を置く、同社は9月下旬にニューヨーク証券取引所に上場し、米国での株式公開で過去最大のソフトウェア企業となった。 当初、株式の価格は75ドルから85ドルの間と予想されていたが、同社は120ドルで上場し、取引初日には300ドルにまで急上昇した。これは別の記録を更新した。スノーフレークは、上場初日に株式価値が2倍になった史上最大の企業となり、時価総額は750億ドル近くに達した。 これまで多くの企業データはオンプレミスで保存されてきた。つまり、データは企業が管理する物理サーバーに保存されていた。OracleやIBMなどの現存企業が伝統的にこの領域を支配してきた。 しかし、Snowflakeは根本的に違う。Snowflakeは、データをオンプレミスに保存するのではなく
2024年6月 基盤LLMを「ELYZA-japanese-Llama-2-70b」から「Llama-3-ELYZA-JP-70B」（Built with Meta Llama 3）に変更しました 「ELYZA LLM for JP」はELYZAが開発する日本語の大規模言語モデル（LLM）シリーズの総称です。今回のデモは2024年6月時点で最高性能のモデル「Llama-3-ELYZA-JP-70B」を基盤としたもので、日本語による対話・タスクの実行においてグローバルプレイヤーが提供する海外製LLMに匹敵する性能（※）を実現しています。ELYZAでは本モデルシリーズを、グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で提供してまいります。
【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog
DATA CLOUD WORLD TOUR JAPAN Day 2 15:05-15:35 の発表のスライドです。
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
Snowflakeのアーキテクチャはどうなっているか 圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想
Snowflakeのアーキテクチャはどうなっているか 圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想：Snowflakeで何ができる？ 基礎情報解説（3） 過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
社内向けStreamlitのデプロイの現実解
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
Snowflakeで何ができる？ 基礎情報解説
過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
大阪オフィスの玉井です。 題名の通り、極めて先進的な（？）データレイクの構築に成功したので、当記事にて詳細をお伝え致します。 概要説明 NADL（Nakamori Akina Data Lake）とは？ 日本が誇る歌姫である中森明菜氏の（ほぼ）全ての楽曲に関するデータを保存したデータレイクです。 SnowflakeはDWHのイメージが強いですが、データレイクを構築・運用する機能を備えています。今回、Snowflakeのデータレイク周りの機能を活用して、NADLを構築しました。 構築作業の流れ SpotifyのAPIから中森明菜の楽曲データを取得する 楽曲データの取得には Get Track’s Audio Analysisを使用 取得した楽曲データをGoogle Cloud Storage（GCS）にアップロードする 上記のGCS（のバケット）をSnowflakeの外部ステージとして連携す
【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
AppFlow+Snowflake+Tableauで可視化する！クラメソ面白Slackチャンネル決定戦 | DevelopersIO
【データ基盤構築/AWS Lambda】Pythonを使ってSnowflakeのデータをRDSにinsertする - Qiita
import sys import json import boto3 import ast import os import snowflake.connector import pymysql from snowflake.connector import DictCursor from sqlalchemy import create_engine from sqlalchemy.sql import text from datetime import datetime def lambda_handler(event, context): # 今日の日付とSQLを実行する日時を変数で用意 today = datetime.now() updated_at_str = datetime.strftime(today, '%Y-%m-%d %H:%M:%S') ## Snowflake
現地参加して良かった！Snowflake Data Cloud Summit 2024！ - LayerX エンジニアブログ
はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。 よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。 そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。 あとは dbt core を AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。 しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良い スケジュール設定できればOK dbtドキュメントもみたい 無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた
米国企業がクラウドデータウェアハウスを利用するデータを精査し始めている。Snowflakeの四半期決算説明会から見えるのはコスト最適化への強いニーズだ。生成AIへの投資で状況は変わるだろうか。 クラウドベースのデータサービスを提供するSnowflakeが2023年5月24日に発表したところによると、同年4月30日までの3カ月間、顧客はデータ利用を控えており、同社はクラウド利用を最適化する必要性を感じている（注1）。 同社の会長兼CEO（最高経営責任者）であるフランク・スルートマン氏は、2023年5月24日に行われた2024年度第1四半期決算説明会の中で、「われわれは需要が不安定な環境の中で事業を行っており、それが全体的な消費パターンに反映されていると見ている」と述べた（注2）。 同社の命運は、ハイパースケーラー、特に2022年の収益率が横ばいもしくは減少しているAmazon Web Ser
ARR1,000億円「Snowflake」CEOの経営論──すべてを異次元成長へ導くプロ経営者・Frank Slootmanに聞く
1社目のData Domainは数千億円規模でイグジット。2社目のServiceNowは10兆円の評価。そして今、CEOを務めるSnowflakeが圧倒的な成長率を実現──Frank SlootmanさんがCEOとして参画する事業は、いずれも「異次元」と呼べる成長を見せています。彼は、シリコンバレーにおけるプロ経営者の筆頭候補、と言っても過言ではないでしょう。 Frankさんは現在、Snowflakeの会長と最高経営責任者（CEO）を兼務しています。これまでもエンタープライズソフトウェア業界で25年以上にわたって、起業家やエグゼクティブとして活躍してきました。 2022年11月17日に開催した「ALL STAR SAAS CONFERENCE 2022」に、Frankさんが登壇。ALL STAR SAAS FUNDのマネージングパートナーである前田ヒロが、その経営スタイルを直接インタビュー
DevelopersIO 2022 Snowflakeトーク＆ディスカッション～Snowflake Summit’22の最新情報を現地参戦できなかった二人のData Superheroと一緒に学ぼう！#devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022 〜技術で心を揺さぶる3日間〜の2日目、2022年7月27日にSnowflakeトーク＆ディスカッション～Snowflake Summit'22の最新情報を現地参戦できなかった二人のData Superheroと一緒に学ぼう！というタイトルで、Snowflake社のKTさん、弊社クラスメソッドの甲木、さがら、の3人で登壇しました。 本ブログではこの登壇内容について、紹介のあったSnowflakeの新機能を中心にまとめたいと思います。 登壇概要 概要 Snowflake社の最大のユーザーカンファレンスイベントである「Snowflake Summit」がラスベガスにて2022年6月13～16日の日程で開催されました。本セッションではSnowflake社のKT氏をお招きし、イベントに現地参戦できなかったData Supeheroesであるクラスメソ
Snowflakeは何がすごくて何ができるのか ITアーキテクトが見た技術的特性と可能性：Snowflakeで何ができる？ 基礎情報解説（1）（1/2 ページ） 近年データ活用基盤を語る際、話題に上ることが増えたソリューションの1つにSnowflakeが挙げられます。単なるクラウドDWHではない先進的な設計思想やデータ処理の特徴に加え、既存の企業情報システムの課題解消にどう生かせるかを見ていきます。
GitHub - scratchdata/scratchdata: Scratch is a swiss army knife for big data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Engineering Education
Prerequisites In this tutorial, one ought to have the following: Basic React and Javascript knowledge. Understanding of npm and how to install from npm Atom or Visual studio code and npm installed...
SNOWDAYで紹介しきれなかったRedshiftとSnowflakeの違い42選 - REVISIO Tech Blog
REVISIOのエンジニア片岡です。 先日2月14日、Snowflakeの大規模イベントSNOWDAY JAPANに参加・登壇してきました。 登壇資料はこちら。 speakerdeck.com ANAインターコンチネンタルホテル東京＋オンラインでの開催でしたが、オフラインイベントの独特の雰囲気と盛り上がりを久しぶりに体感できて非常に楽しかったです。 沢山の興味深いセッションや趣向を凝らした会場設営、コミュニティイベント含めてSnowflakeの世界観が感じられたイベントでした。 さて、タイトルにあるようにSNOWDAYでは時間の都合で紹介しきれなかった部分があったので、ここに書いておこうと思います。 RedshiftとSnowflakeは別の製品なので、当然違いは沢山あります。 ただ、Redshiftを色々なシーンで使用している状況から移行しようとするのであれば、ある程度同じ挙動をして欲し
estie データマネジメントグループのソフトウェアエンジニアの和田です。私については → 入社エントリ この記事の内容 さーて、今回の estie inside blog は estie、データドリブンになりたいってよ データの活用先を考えるブレスト会をやったらアイデアが沢山出たよ データ活用を実現していく仲間を募集中だよ という内容になっております！それでは本編どうぞ！ estie、Snowflake を導入しましたよ（再） 少し前にこのブログでも紹介したのですが、estie の新しいデータ基盤として Snowflake を導入しました。 estie、Snowflake を導入しましたよ - estie inside blog 上記の記事では、データマネジメントグループが管理しているデータパイプラインの課題をメインに紹介したのですが、Snowflake に対しては分析利用への期待も高ま
5年ほど前、ビッグデータとアナリティクスをめぐる誇大広告はたくさんありましたが、今日では、この業界は現実的に誇大広告に応え、ビジネスを前進させる根本的な力へと変貌を遂げています。この数年間で、毎秒生成されるデータの量は飛躍的に増加しました。このため、分析ワークロードを効率的に処理するエンタープライズ向けクラウドデータウェアハウス技術が登場することになったのです。 データウェアハウスは、データを効率的に活用し、深い洞察を得るのに欠かせないものとなっています。となると、どのデータウェアハウスが自分のビジネスに最適なのかが大きな問題になってきます。Amazon Redshift、Google BigQuery、そしてSnowflakeの三大データウェアハウスを検討してみましょう。強力なリレーショナルDBMS（データベース管理システム）のデータベースモデルであるRedshiftとSnowflake
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery と Snowflake を徹底比較
モダンなタスク管理を可能にするSnowflake Python API
SnowflakeとRedshiftの比較検証
Snowflake で1万"列"データを扱う技術 - Qiita
小学生が「2chのAA」や「スプー」を知っている理由
カイロスロケット爆発 痛手を負っても「失敗」といわず、目標も変えないスペースワンの事情
ELYZA LLM for JP (デモ版)
【合格体験記】DB初心者が2か月でSnowPro Coreに合格した - Qiita
Snowflakeがもたらした noteのデータ分析の進化
Snowflake、文書からより深い洞察を引き出す新しい大規模言語モデル「Document AI」を発表
Snowflakeに中森明菜データレイク（通称NADL）を構築しました | DevelopersIO
dbt Core を GCPのCloud Run JobsやBatchで実行する方法
Snowflakeが急減速？ 「データの置きしぶり」を始めた米国企業
Snowflakeは何がすごくて何ができるのか ITアーキテクトが見た技術的特性と可能性
estie にデータを使って意思決定したいことが 62 個もある話 - estie inside blog
Redshift と Snowflake の比較：6つの主な相違点
godmeetsfashion.com
markezine.jp
uonuma-js.com
www.nikkei.com
doumei-art-livedoor.blog.jp
intensive911.com