[B! bigquery] aquaricknのブックマーク

BigQueryの監査ログは役に立つ | PLAID engineer blog

Google Cloudサービスが提供しているBigQuery監査ログの活用方法。実際に弊社で利用しているクエリも併せて紹介します。

aquarickn 2019/06/13

最高の知見

bigquery

リンク

RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J

aquarickn 2018/02/28

超助かる。RedshiftとBQを行き来するので毎回ぐぐってる・・。

リンク

GCE BigQuery vs AWS Redshift vs AWS Athena - gab.lc

Updates 7/20/17 update Following Tino Tereshko's advice (he is Big Data Lead at Google Cloud Office of CTO), I added the metrics for BigQuery standard SQL and re-calculated the data loading time (from Google Cloud Storage to BigQuery) following their recent optimizations. 7/6/17 update With Joe Harris' help (he is a Redshift Database Engineer at AWS), I measured the performance of an optimized sch

aquarickn 2017/06/28

比較表

bigquery
AWS

リンク

Data Studio と BigQuery を使った BI ダッシュボードの作り方 | Google Cloud 公式ブログ

このシンプルなソリューションを使えば、GCP 上にBIダッシュボードを簡単に作れます。ビジネスインテリジェンス︵BI︶が登場したときから、可視化ツールは、データからすばやく知見を獲得したいアナリストや意思決定権者のために重要な役割を果たしてきました。ビッグデータアナリティクスの時代になった今も、その前提は変わりません。Google Cloud Platform︵GCP︶は、ビッグデータの上にBIダッシュボードを構築するための統合プラットフォームとして、ペタバイト規模のデータを高速に分析できるクラウドネイティブなデータウェアハウス Google BigQuery と、美しいレポートをすばやく作れる無料の Google Data Studio を提供しています︵Google のパートナー企業である Looker や Tableau、Zoomdata なども BigQuery

aquarickn 2017/06/07

今まさに悩んでいる事を記事が出て来た。神かよ。

リンク

BdashというBIツールをリリースしました - hokaccha memo

BdashというアプリケーションをElectronで作りました。 bdash-app/bdash: A simple business intelligence application. 以下からダウンロードしてインストールできます︵現状まだMac版だけ︶。 https://github.com/bdash-app/bdash/releases ざっくりとこんな感じのことができる。 SQLを書いて保存＆実行できる結果を元にグラフを書ける gistで共有できる現状で対応しているデータソースはMySQL、PostgreSQL︵Redshift含む︶、BigQuery 仕事でRedshiftを使って分析SQLを書くことが増えて、手元ではJupyter Notebookを使ってたんだけど、SQL書いてグラフを書くだけの用途には若干オーバースペックでもうちょっと簡単にできるといいなと思ったのがき

aquarickn 2017/02/08

使ってみたけど欲しかったやつ。最高。Oracle版も欲しい。Plugin 形式になったらいいなー。 ●bigquery ●Electron ●SQL

リンク

Private Presentation

Private content!This content has been marked as private by the uploader.

aquarickn 2017/01/18

リンク

Google BigQuery cuts historical data storage cost in half and accelerates many queries by 10x | Google Cloud Blog

Google BigQuery continues to define the next generation of fully-managed zero-Ops analytics data warehouses. Today BigQuery is making things faster, cheaper and easier to use. ">Google BigQuery continues to define the next generation of fully-managed zero-Ops analytics data warehouses. Today BigQuery is making things faster, cheaper and easier to use. You may have read the announcement on the rele