近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
BIツールとは、蓄積されたデータを集約し、レポーティング機能により共有・比較・分析などを行い、データを有効活用することができるツールです。企業内でも、このBIツールのデータをチェックすることで、スムーズな意思決定に役立てることができ、最近では、営業部門から経営戦略等のさまざまな分野で活用されています。また、データを自動で分析してくれるため、DXの分野でも年々シェアが高まってきています。ここでは、BIツールの概要から導入メリットを解説した後、無料で使えるオープンソースソフトウェアのBIツールの特徴を比較し、用途や利用者レベルに合ったおすすめの選定ポイントを紹介します。 ＋ 目次 BIツールとは何か？ BIツール導入のメリット データを分かりやすく可視化し、活用しやすい 業務の効率化につながる 課題をリアルタイムに把握し、迅速な意思決定ができる BIツール導入のデメリット コストがかかる どの
これはエムスリー Advent Calendar 2023の9日目の記事です。 前日の記事はSREチーム後藤の「共有会をより効果的にするために考えたあれやこれ」でした。 エムスリーエンジニアリンググループ データ基盤チームの木田です。 師走です。12月といえば年末に向けて大掃除の季節です。 古来日本では12月に宮中で「煤払い」という行事を行う風習があったことが、今日年末の時期に大掃除をする由来とされているそうです。 私の自宅はまだ何も手をつけられていませんが、せめてBIツールの中だけでもということでRedashのクエリ棚卸しをした話*1をご紹介します。 エムスリーにおけるRedashの活用状況 長年の運用の結果起きた性能問題 問題の特定と発生原因 Workerの増設 クエリの棚卸しと改善 使われていない定期実行クエリの停止 サンプル1 直近参照なしかつ定期実行クエリ クエリの実行時間改善
システム開発における業務分析 - Qiita
前提 本記事では弊社で業務分析の内容を記載します。 Redmineをお使いの方は、redashを準備頂ければSQLを記載しますので、そのまま同じ分析を行う事が出来るかと思います。 但し、マスターの値をそのまま記載しているので、そちらは変更頂く必要があります。 全てのタスクがRedmineで管理されている 予定工数と実績工数が正しく登録されている redashがインストールされている Dockerでインストール出来る為、VPSのレンタルサーバーに数時間でインストールできます 上記の前提で業務に滞りがないか、改善点がないかを分析しています 分析内容 作業実績の記録が正しいか gitのコミットメッセージからRedmineに自動的に実績時間が登録されるようになっています。 その情報から人・日のマトリックス表を作っています。 こちらの表からスタッフの作業状況を判断しています。 また、給料の査定基準に
ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材（ランサー）として、ランサーズ社を手伝っています。 「こんなことをやってきたよ！」という話を、書ける範囲で書きます。 CRM（顧客管理）x データ活用 の案件を主に担当しています。 注意 本稿は筆者個人の見解に基づく内容であり、関係組織を代表するものではありません。 不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものです。 どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 もくじ 概要 注意 もくじ きっかけ 案件1:顧客セグメント可視化 案件2:社内システム改善 案件3:オープンデータ活用 その他:データプラットフォームのメンテナンス性向上 意識している
SQLは口ほどにものを言うーRedashによるクエリ共有、監視、データ連携によるチーム効率化ー - LayerX エンジニアブログ
Misoca開発メンバー/SREチームの id:mizukmb です。今年も最高気温40度超えの名古屋の夏を乗り切る事ができて安心しています。 今回はSREチームとしてMisocaのパフォーマンス計測を行い、開発向けのサービスレベル目標 (以下、SLO) を設定した話をしようと思います。 実際に計測をはじめる前に すべてを計測できることは理想ではありますが、闇雲に計測するだけではどこを改善するべきか見えにくくなってしまいます。 そこで、実際に計測をはじめる前にSREとしてどこに着目するべきなのかをSREチーム内で認識合わせをするためにSRE本読書会を実施しました。 SRE本読書会の実施 SRE本とは SRE サイトリライアビリティエンジニアリング――Googleの信頼性を支えるエンジニアリングチーム の事です。 Google - Site Reliability Engineering で
マーケターがredash&スプレッドシートでKPI管理してみた - SMARTCAMP Engineer Blog
スマートキャンプでマーケターをしている佐々木です。 最近は自販機でペットボトルを購入することにハマっています。 私は弊社の運営する資料請求サイト「ボクシル」のマッチング最適化を生業として生きているのですが、追うべきKPI・可視化したデータの共有にはスプレッドシートを好んで使っています。 SQLで取り出したデータであればRe:dashで共有するのがライトなのですが、 SQLでとってきたもの以外のデータを上手く組み合わせられない 様々なアレルギー反応を起こす人がいる（英語UIがダメな人、クエリ見ると卒倒しちゃう人etc...） 権限管理が大変 などダッシュボードとして利用していくにあたって、特に非エンジニアに浸透しづらいというのがあります。 そこでスプレッドシートをダッシュボードとして活用していく方法を紹介したいと思います。 概要 ツールごとの役割分担 使った技術 流れ 全体 1. Re:da
京都研究所・TechLabの田中です。 マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際にRedashを利用しています。 Redashから接続しているデータソースには、以前このブログでも紹介した分析用Hadoopクラスタ*1に加えて、MySQLのレプリやBigQueryなどがあります。 これらの異なるデータソースに対してRedashからは同じインターフェースでアクセスでき、手軽にデータの抽出や可視化・分析などが可能です。 また、クエリで抽出したデータを利用して、Redash上にダッシュボードを作成することもできます。 本稿では、そんなRedashの活用方法の1つとして、 スケジューリング機能とキャッシュ機能を利用した簡易的なデータパイプラインを使ってダッシュボードを作成する例をご紹介します。 なお、この記事で扱うRedashの説明はバージョンv1
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
Site unavailable
Site unavailable. If you're the owner, email us on support@ghost.org
Redashから別のAWSアカウントのDBに繋がらない際に確認するポイント3つ - Link and Motivation Developers' Blog
こんにちは。リンクアンドモチベーション SRE グループの綿引と申します。 今回はRedashから別AWSアカウントのDBに対してアクセスできない際に確認するポイントをご紹介したいと思います。 ただ以下の背景の関係上 「Redashサーバが存在するAWSアカウントと参照したいDBが存在するAWSアカウントは VPCピアリングで接続されている 」 という前提で進めさせて頂きますので、その点はご容赦頂ければと思います。 背景 先日 「ある AWS アカウントの Redash から、別アカウントの Aurora に対しアクセスを可能にしたい」 という話があったので対応したのですが、このナレッジを残しておきたいと思ったことが背景となります。 尚、構成に関して次項に記載しているのですが、本記事を見て頂いている方の担当システムで全く同一の構成というケースは少ないかとは思いますのでご参考程度に見て頂けれ
「Redash v8.0.0」で気になった新機能と機能改善 - kakakakakku blog
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
What is happening? We are shutting down the hosted Redash service at app.redash.io, effective November 30, 2021. No new customer sign ups are allowed. Existing customers can continue to use the service free of charge until November 30, 2021. Why are you doing this? In order to focus our efforts on establishing best in class experiences for SQL analysts within Databricks as our paid offering. How w
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
自分のデータ分析のためにRedashを構築した話 - 個人開発におけるデータ分析環境つくりとコストについて - Lean Baseball
久々に個人開発のはなしです. 昨年（2020）の話になりますが, 自分が気になる世の中のニュース（野球とかグルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい ...という目的でデータ収集と通知の仕組みを自分用のプロダクトとして構築・運用をスタートしました. shinyorke.hatenablog.com 今年も上記のプロダクトをいい感じに運用しているのですが, 毎日見るのにGUIが欲しくなってきた 複数のデータソース（BigQuery, 生のCSV/JSON, Spreadsheet, etc...）を一つにまとめて見たい 毎日Slackなどに通知するようなモノもほしい という要望が出てきたので, これらの要望に応えるためRedashを使うことにしました. redash.io このエントリーでは, 個人開発に使える無料データ可視
バクラクのお客様状況把握への取り組み - LayerX カスタマーサクセスチーム｜Takayuki Suzuki
Redash Meetup v7.0.0 の発表資料です https://redash-meetup.connpass.com/event/211861/
AI・機械学習チームの丸尾 @snowhorkです。 今回は業務改善（＋趣味）で作ったRedash権限管理ツール rdiam について紹介したいと思います。 github.com エムスリーにおけるRedashの利用 まずはこのツールができる以前のエムスリーにおけるRedash*1の活用の経緯を紹介したいと思います。 Redashは様々なデータソースに対して、SQLによる分析結果を可視化・共有ができるBIツールです。エムスリーではデータソースとして、ほぼBigQueryを対象にして活用しています。 背景としては、ここ数年で、オンプレのDB、AWSのDB、そのほか各種データソースをデータマートとしてBigQueryに集約していることがあります。現在では、エンジニアのみならず、ビジネスサイドのメンバーもRedash経由でSQLを書いたり、ダッシュボードでKPIの追跡したりしています。 Reda
Redash上からBigQueryスクリプトを利用してみた - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2019 - Adventar 4日目の記事です。 こんにちは！ suwahime です。 昨今どの業界を見渡しても、アクティブユーザー数や入会数といったデータは、当たり前のように日々追っているかと思います。 私の所属するチームでは、主にRedashを用いてKPIを可視化しています。 今日は、先月BigQueryにBetaリリースされたスクリプトとプロージャ機能を使って、RedashのQuery作成を、よりシンプルに、管理しやすい形で書いてみたことをお話しさせていただきます。 RedashはQueryごとに定義が分散してしまいがち 例として、「期間内にサービスを訪れたユーザー」の利用デバイスを調べる、以下のようなQueryをRedashに作成していたとします。 SELECT B.device_name, COUNT(DISTIN
この記事はテックタッチアドベントカレンダー23日目の記事です。 分析チームでエンジニアリングマネージャーをしている takeshi です！ 入社して1年が経過しました。 今回は、分析チームの日々の業務の中で活躍してくれているRedashとTableauについて、経験したことを紹介したいと思います。分析関連の業務をされている方に、少しでも参考になれば幸いです。 RedashとTableauとは Redashの場合 Tableauの場合 RedashとTableauを比較して シンプルな比較 データ接続 変数利用 Redashの場合 Tableauの場合 複数データソースを結合して扱う Redashの場合 Tableauの場合 大量データの扱い Redashの場合 Tableauの場合 実行ファイルの管理のしやすさ Redashの場合 Tableauの場合 探索的分析 redashの場合 Ta
Keeping up with an industry as fast-moving as AI is a tall order. So until an AI can do it for you, here’s a handy roundup of recent stories in the world…
[ データ可視化ツール]MetabaseをDocker上で構築してRedshiftへ接続する | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 前回の記事でRedashを調査している際に同じOSSとしてMetabaseと比較される情報が多く見つかりました。Metabaseは気になっていたのですが今まで触れたことがなかったので前回と同じくDocker環境で新規インストールして動かしてみました。またデータソースも前回と同様にMetabaseとRedshiftを接続してみたのでまとめます。 以前の記事 [ データ可視化ツール]RedashをDocker上で構築してRedshiftへ接続する 環境 macOS Mojave Docker version 19.03.1 docker-compose version 1.24.1 Metabase v0.33.4 Metabase Metabaseは「Metabase is the easy, open source way
![[ データ可視化ツール]MetabaseをDocker上で構築してRedshiftへ接続する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f1fde3cff7767965729d2d96d3e31da5b8a643d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_developers.io_1200x630.jpeg)
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する | wapa5pow blog
前提 本記事では、BIツール導入の際に考慮した方が良いポイント（比較軸）を紹介します。 投稿者が業務で実際に使っており、お手頃価格で導入可能という観点で、以下３つのBIツールに比較軸を当てはめてみて、各々のユースケースを考えます。 Tableau GoogleDataPortal Redash (※比較軸とBIツールの対応表は細かいので最後の章にしました。) (※他のBIツールも、使用次第追加していきたいと思います。個人的にLookerは試してみたいものの。。。) モチベーション BIツール導入に良く関わるので、BIツールを完全に理解した！時点での知見を整理しておきたい。 BIツール導入に関する議論に向けて、自分の考えをまとめておきたい。 特に、直近の「2020/2/20に#1 BIツール徹底討論」など。 内容 用語集（一部のみ） 登場人物 一般ユーザ 一般ユーザは、作成されたダッシュボー
![[各論]BIツール導入のための比較軸をまとめてみた。 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb63c3709a3dbc121f2275ae2ed40f7e1844c8b0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTkwJTg0JUU4JUFCJTk2JTVEQkklRTMlODMlODQlRTMlODMlQkMlRTMlODMlQUIlRTUlQjAlOEUlRTUlODUlQTUlRTMlODElQUUlRTMlODElOUYlRTMlODIlODElRTMlODElQUUlRTYlQUYlOTQlRTglQkMlODMlRTglQkIlQjglRTMlODIlOTIlRTMlODElQkUlRTMlODElQTglRTMlODIlODElRTMlODElQTYlRTMlODElQkYlRTMlODElOUYlRTMlODAlODImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWUzZWVlYTBhNGI0OGUwNDE0ZTU1MjVjNWJiYjA4NGYx%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0b21vX3dpbGwmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTE1ZGEyNGRiYjk1YzY1YjU4YmZkOWEwN2U2ZmE2OTNk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1befcc05467a01b8f0eb5f9ba84ecf34)
「Redash v10.1.0」で気になった新機能と機能改善 - kakakakakku blog
2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 2021-11-23 リリース 今回は Change Log を確認しつつ，「個人的に気になった Redash v10.1.0 新機能と機能改善」を「計5点」紹介する．全ての変更点は以下に載っている． gi
RedashをECS Fargate構成にしてv7からv10へアップグレードする - NIFTY engineering
Redash 上で桁数が多い数値を表示すると発生する誤差について調べた - ariarijp’s blog
久しぶりの記事もやはり Redash 関連でした。 結論を先に（個人の感想・意見です） Redash の UI 上で 9007199254740991 を超える数値を扱いたい場合は、精度が下がることを許容するか文字列として扱う これは JavaScript の仕様によるものなので、当面は Redash のバージョンアップだけで対応される可能性は低い Redash についての質問はぜひ Redash 日本語フォーラム で！ きっかけ このツイートを目にしたことがきっかけでした。 やっぱりredashで18, 19桁くらいの大きめの数字を表示した際に下三桁くらいが本来の値と食い違うなぁ— しょっさん@ʕ ◔ϖ◔ʔ (@syossan27) 2020年11月24日 いったん「redash じゃなくて Redash」については気にしないことにしましょう。 以前も似たようなツイートを見た覚えがあるの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
BIツールとは？無料で使えるおすすめOSSの比較6選（2023年版） | OSSのデージーネット
ありがとうRedshift よろしくBigQuery - freee Developers Hub
redash + Google Colabによる分析環境 - KAYAC engineers' blog
年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ
ランサーズのデータ活用を手伝っている話 - 下町柚子黄昏記 by @yuzutas0
Misocaのサービスレベル目標 (SLO) を設定するまでの道のり - 弥生開発者ブログ
Redash SaaSサービスから自前ホストへの移行した話 - Mirrativ Tech Blog
効率的なダッシュボードの作成 - MicroAd Developers Blog
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
Redashを便利に使うためのTips3選 - dely Tech Blog
俺が考えた最強のSOQL実行ツールを作りました - Qiita
Hosted Redash End of Life
Looker ノススメ - fisherman’s note
カンム流redashを使ったプロモーションDashboardの作り方 その1
Redash のいま / Redash in 2021
Redash権限管理のための独自CLIツールを作りました - エムスリーテックブログ
RedashとTableauを比較してみた - Techtouch Developers Blog
TechCrunch | Startup and Technology News
[各論]BIツール導入のための比較軸をまとめてみた。 - Qiita
b.hatena.ne.jp
twitter.com
binaryoptionhow.com
blog.livedoor.jp/nwknews
zenn.dev/mkz
ascii.jp