[B! redash] mapk0yのブックマーク

Redash SaaSサービスから自前ホストへの移行した話 - Mirrativ Tech Blog

概要ミラティブではデータ分析用ツールとしてRedashのSaaS(redash.io)を使用している。(Lookerと併用) 2021年11月末で redash.io のサービスが終了する。そのため、自前のGCP環境にRedashを移行した。 Redash謹製の移行ツールが提供されているが、いくつかハマったポイントがあった。本記事では、GCP環境への移行手順・移行時のハマリポイント・移行後にあると便利なものを紹介する。はじめに初めまして、ミラティブでデータ分析基盤を担当している芝尾です。データ分析チームは5名のチームになっており、日々ユーザーの皆様のデータを分析してサービスの向上に努めています。今回はミラティブで使用していたデータ分析可視化ツールの移行を行いましたのでそのやり方を共有します。背景 Redash hosted サービスが終了します。この記事によると 2021/11

mapk0y 2021/11/06

redash

リンク

SQLは口ほどにものを言うーRedashによるクエリ共有、監視、データ連携によるチーム効率化ー - LayerX エンジニアブログ

こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。アドホックな分析クエリの共有によるコミュニケーション効率化監視アクション設定によりデータ不整合にすぐ気づける体制整備複数チームからのデータソース連携によるヘルススコアダッシュボード作成最後に - Redashと他の分析ダッシュボードツールの併用についてアドホックな分析クエリの共有によるコミュニケーション効率化 Redashでは、まずクエリベースでアドホックな分析クエリの共有が可能です。

mapk0y 2021/07/06

redash

リンク

Misocaのサービスレベル目標 (SLO) を設定するまでの道のり - 弥生開発者ブログ

Misoca開発メンバー/SREチームの id:mizukmb です。今年も最高気温40度超えの名古屋の夏を乗り切る事ができて安心しています。今回はSREチームとしてMisocaのパフォーマンス計測を行い、開発向けのサービスレベル目標 (以下、SLO) を設定した話をしようと思います。実際に計測をはじめる前にすべてを計測できることは理想ではありますが、闇雲に計測するだけではどこを改善するべきか見えにくくなってしまいます。そこで、実際に計測をはじめる前にSREとしてどこに着目するべきなのかをSREチーム内で認識合わせをするためにSRE本読書会を実施しました。 SRE本読書会の実施 SRE本とは SRE サイトリライアビリティエンジニアリング――Googleの信頼性を支えるエンジニアリングチームの事です。 Google - Site Reliability Engineering で

mapk0y 2019/09/10

リンク

RedashでAmazon Athenaのクエリ結果をビジュアライズする | DevelopersIO

Amazon Athenaのクエリ結果をチーム内で共有する場合、クエリ結果を表やグラフ形式でビジュアライズできると便利です。この場合Amazon Athena自身にはビジュアライズの機能がないため、他プロダクトの力を借りる形になります。弊社ブログでもAmazon QuickSightとTableauでAmazon Athenaのクエリ結果をビジュアライズする方法が紹介されています。︻新機能︼Amazon QuickSightがAmazon Athenaをサポート！｜ Developers.IO Tableau 10.3新機能‥Amazon Athenaへ接続 #tableau ｜ Developers.IO OSSのプロダクトという観点では、Redashも有力な選択肢になるかと思います。今回はこのRedashでAmazon Athenaに接続しクエリ結果をビジュアライズする方法をご

mapk0y 2018/02/25

リンク

Redash Meetup #0に参加した - progrhyme's tech blog

RedashはOSSのハンディなBIツールとして、ちょくちょく名前を聞いて気になっていましたが、あいにくこれまで触ってみる機会がありませんでした。そんな折にこちらのハンズオンを見かけたので、行ってみることにしました。ハンズオンは、@kakakakakkuさんがGitHubに公開して下さっている下の資料に基いて実施しました。 kakakakakku/redash-hands-on: Redash study materials for beginners 📊 丁寧に作られているので、今回のMeetupに参加していない人でも、こちらに沿って作業すると一通り内容が掴めるだろうと思います。ハンズオン実施項目上の資料の目次相当のものを書き下します: Redashをローカルマシン上でセットアップbyDocker Compose データソース設定 : MySQL クエリ作成クエリ結果をグ

mapk0y 2017/12/20

redash

リンク

RedashをFargateで立ち上げる - tjinjin's blog

About こちらはRedash Advent Calender 2017 19日目の記事です。 qiita.com ノリでFargateを使ってRedashを構築してみました。もともとのdocker-compose.yml version: '3' services: server: image: redash/redash:${REDASH_VERSION:-latest} command: server command: create_db depends_on: - postgres - redis ports: - "5000:5000" environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: "INFO" REDASH_REDIS_URL: "redis://redis:6379/0" REDASH_DATABASE_URL: "

mapk0y 2017/12/19

リンク

Redash のユーザー削除が難しい - kakakakakku blog

背景 Redash を運用していて，例えば退職者が出たタイミングなど，ユーザー削除って結局どうするんだっけ？という話題が出て，明確な回答ができなかったので，実際に試してみた．ユーザー削除だけじゃなく，権限管理など，今後 Redash の運用面の記事を書く機会が増えそう．なお，今回は Redash 3.0.0 を使って検証した︵master を Docker で起動したため最新すぎる可能性もある︶． Redash 画面 Redash 画面では，ユーザー追加とグループ管理ができる．ただし，公式ドキュメントにも記載が無いように，ユーザー削除の機能は提供されていなかった．admin 権限でログインした場合は，Redash 画面からユーザー削除ができるべきだと思う． redash.io Redash CLI 公式ドキュメントにも詳細な記載はないけど，Redash には Redash CLI と言うコ

mapk0y 2017/10/28

redash

リンク

Redash が Amazon Athena を正式サポートしたので試してみた | はったりエンジニアの備忘録

最近、個人事業のお仕事で Redash を使ったデータ分析をやっています。データ分析は﹁10年戦えるデータ分析入門﹂を読んで興味を持っていたので、とてもいい機会をいただきました。今回は RDBMS の他に S3 にあるログデータも分析したいので Athena を使うつもりですが、ちょうど Redash が Athena を正式サポートしたので試してみました。 Amazon Athena + Redash = ♥ ちなみに、2月7日時点で Athena が使えるのは Hosted 版だけです。自分のサーバにインストールする OSS 版は v1.0.0 で対応するようなので、もう少し待ちましょう︵OSS 版は v1.0.0-rc.1 までリリースされています︶。 If you run Redash on-premise, you can either wait for the v1.

mapk0y 2017/09/20

リンク

Docker上のRedashのバックアップとリストア手順 - Kuchitama Tech Note

昨日の書いたエントリがホッテントリ入りしてて、喜ばしい限りです。 kuchitama.hateblo.jp 悲しい思いをしましたが、いく分か取り戻せた気がします。今日は、昨日の反省を活かして、トラブルがあっても大丈夫なようにRedashのPostgresデータのバックアップとリストアの手順をまとめます。ちゃんとリストアの手順までまとめておかないとね！！でないと、実況Youtubeをするはめになる… (実際昨日は @kiy0taka さんと、 @irof さんに実況しないのって煽られてました) 例によってDocker上で運用している前提です。 AWSとかGCP上で運用しているなら、こちらのドキュメントに従えば多分大丈夫だと思います。 Backup Your Redash Database and Restore It on a Different Server · Redash Hel

mapk0y 2017/04/07

pipe の前までを docker でやって gzip 以降をホストでやってもいいと思う。復元するときも同じようにできるけど -i が必要か

リンク

re:dash on DockerでHTTP Proxy考慮して試してみる（2017/04版） - Qiita

本家re:dashがDocker化したものを提供しているのでRancher化したかったのだけど、上手く行かず、ひとまずDocker実行出来るようにした。また、現状(2017/4)の段階で、巷にあふれるre:dashのdocker実行の記事が古く、現状と構成が変わっていたのでメモも兼ねて残しています。やった事 HTTP_Proxyの考慮管理用DBはコンテナ外のPostgreSQLを使用 Rancherの都合で、DockerのVer.は固定前提条件Ubuntu Server 16.04 LTS DockerをインストールするホストのIPアドレスは、192.168.1.9とする re:dashからメール送信につかうSMTPサーバは認証無し re:dash用の管理DBは事前に空の状態で作成済み DockerのHTTP Proxy設定インストール Dockerのインストールの前に、HTTP

mapk0y 2017/04/03

リンク

RedashをDockerで起動する（2017年3月版） - Qiita

redashディレクトリを作成して、その下にリポジトリをcloneする。Amazon Athenaを使いたいのでそのためのリポジトリもクローンしている。こんな感じの構成にする。 redash/ `-- https://github.com/getredash/redash.git (v1.0.0-rc.2) `-- https://github.com/getredash/redash-amazon-athena-proxy.git (95a9850) `-- docker-compose.yml （作成） redashリポジトリの docker-compose.production.yml をコピーして docker-compose.yml を作り、変更する。（今回redashリポジトリで必要なのはこのymlファイルだけ）主な変更点： redashのイメージをbuildするようになって

mapk0y 2017/03/17

リンク

いつの間にかre:dashの設定が簡単になってた(Dockerを使えば) - ただふれたものについて書くブログ

v0.8.2-rc の頃に一回入れたことがあったのだけど当時は中途半端だったDockerサポートがきちんと整備されていて使えるようになっていた。 http://docs.redash.io/en/latest/setup.html#docker-compose 要は、postgres イメージと Dockerイメージがあれば動きますよって話。 https://github.com/getredash/redash/blob/master/Dockerfile にあるので、まずは自分の手元でDockerイメージを作成する。 $ git clone git@github.com:getredash/redash.git $ cd redash $ docker build -t redash . docker-compose.yml もサンプルもredashのリポジトリに入っているので、そ

mapk0y 2017/03/11

リンク

Re:dash のPostgreSQL へ CSVファイルを Digdag * Embulk 経由で登録する - Qiita

0.はじめにこちらはre:dash Advent Calendar 2016の22日目の記事です。 Advent Calendarについて出遅れたと思っていたところ、、、こちらはまだ空き枠がありましたので参加しました。 Mac上で以下のような感じで CSVファイルを digdag -> embulk ->　(Re:dashの)PostgreSQLへ格納してRe‥dashから見るところまでを記事にします。デモや素振り用などの参考にして頂ければと思います。以下は今回本記事では取り扱いませんが以前書きましたこちらの記事や、こちらの記事を参考に応用するとChatOps的な感じでデータ登録が可能です。 1.環境 OSX Yosem iteDocker version 1.13.0-rc3, build 4d92237 docker-compose version 1.9.0, build2

mapk0y 2016/12/23

リンク

RedashでSAML認証できるまで - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは、アプリケーション基盤チームの池添︵@zoetro︶です。 2016年9月に中途入社し、Necoプロジェクト︵アーキテクチャ刷新プロジェクト︶において新しいログ基盤の構築を進めています。その一環でRedashの導入もおこなっています。新しいツールやサービスを導入するときに気になるのが認証の仕組みです。社内ではいろいろなツールやサービスを活用していますが、それぞれにアカウントをつくるのは大変なので、やはりシングルサインオン(SSO)したいですよね。 Redash v0.11のドキュメントを見るとSAML認証について記載されていました。さっそくSAML認証の設定をし始めたわけですが、どうにもうまくいきません。そこで、SAML認証ができるまで - Cybozu Inside Out | サイボウズエンジニアのブログを読み、RedashやOpenAMのソースを調査し、SAMLの

mapk0y 2016/12/19

本家にPRして、色々修正した結果、使いやすくなっててすごい

redash
SAML

リンク

Redash で Oracle 接続の Docker を作ってみた - Qiita

Oracle だらけの環境の皆さんへ Docker Compose Install ※ docker はInstall済み $ uname -r 3.10.0-327.el7.x86_64 $ sudo curl -L "https://github.com/docker/compose/releases/download/1.9.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose $ sudo chmod +x /usr/local/bin/docker-compose $ sudo curl -L https://raw.githubusercontent.com/docker/compose/$(docker-compose version --short)/contrib/comple

mapk0y 2016/12/15

リンク

Re:dashとDocker for Macでらくらく分析・可視化環境構築

Re:dashとDocker for Macでらくらく分析・可視化環境構築 analyticsdocker python Redash ビザスク開発者ブログ第一弾記事を書かせてもらうことになりました、 @shinyorke(Shinichi Nakagawa)ともうします. 我々ビザスク(https://service.visasq.com)の開発チームでは、データに基づいた客観的な観点をベースに施策を実施しています. 現状はエンジニアがGoogle SpreadsheetsやGoogle Apps Script（社内では「ガス(GAS)」と呼ばれています)、Slackを駆使して数値の可視化や共有をしていますが、ひとつの画面、いわゆる「ダッシュボード」で分析・可視化を行ってチーム全員で共有しよう！将来的にはビジネス側のメンバーにも数値出しや可視化をしてもらおう！という機運が高まり、分析・

mapk0y 2016/10/28

s/Mac for Docker/Docker for Mac/ ? / 全エンジニアがDocker使えるのつおい

リンク

GitHub - hakobera/redashbot: Slack Bot for re:dash

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

mapk0y 2016/10/16

リンク

re:dashをdocker-composeで動かしたら簡単だったぜ 2016年6月 - パラボラアンテナと星の日記

この記事では、re:dashをdockerで一通り動かすことをやってみます。 re:dashとはこんな感じでデータをビジュアライズできるツールです。 (↑公式ドキュメントより拝借) re:dashの特徴は以下のとおりです。取り込むことのできるデータの形式が豊富!! BigQuery, TD, ElasticSearch, GoogleSpreadSheet, 任意のURL, etc. アラート機能(メール)もある!!動かす AWS, GCEで専用マシンイメージが配布されているようですが、今回はdocker composeを使って自分のOSX内で実行してみました。 docker compose Setupを読んで手順通りにやっていきます。 1. Make sure you have a Docker machine up and running. 2. Make sure your

mapk0y 2016/06/20

リンク

re:dashをDockerで動かす - ryotarai's blog

re:dashというデータ可視化ツールがあります。MySQL、Redshift、TDなどからデータを引っ張ってグラフ化できたりして、非常に便利なんですが、今まではHighchartsというライブラリに依存しており、ライセンスの関係で利用できる用途が限られていました。先日、Feature: replace HighCharts with Plotly by alonho · Pull Request #687 · getredash/redashでPloylyという別のグラフ描画ライブラリに移行されたので、Dockerで動かしてみました。 Dockerイメージ masterブランチにDockerfileが含まれていますが、そのままdocker buildするとアセットがインストールされません。docker build前にmake depsを実行しておく想定っぽいですが、ビルドするホストにno

mapk0y 2015/12/19

リンク

Re:dash - Make Your Company Data Driven

Redash helps you make sense of your dataConnect and query your data sources, build dashboards to visualize data and share them with your company. “Redash is as essential as em ail to my company. We love data but accessing the data is a pain without Redash. Any company I go to, I get them hooked on Redash. It’s an easy sell :)” by Ben Dehghan, Co-Founder of Data Miner Read what our users say → Write