BigQueryに関するzima0314のブックマーク (2)
-
このエントリーは、GMOアドマーケティング Advent Calendar 2020 の10日目の記事です。 こんにちは、GMOアドマーケティングのmizkichです。 DMP(Data Management Platform)の開発運用を担当しています。 このDMPで利用しているBigQueryは、一千億を超えるレコードでも数分で処理してくれる、非常に高い高速性が魅力です。 その反面、通常のリレーショナルデータベース(RDB)では起こらないエラーがたびたび発生してしまいます。 この記事では、BigQuery独自の様々なエラーを回避する方法を紹介します。 ・はじめに 従来のRDBでは、最も効率的な実行計画を意識してSQLを書けば、PARSE(評価)もEXECUTE(実行)も正常に高速に処理されました。 BigQueryでは、実行計画を意識しただけでは複雑なSQLは実行出来ません。 Big
-
はじめに: Google BigQuery は速くて安い Google BigQuery を使うと、テラバイト程度のデータに対しても、速く安く機械学習前処理を行うことができます。2019/12/06 現在、Redshift Spectrum と同じく、オンデマンドクエリはクエリが参照するデータの容量に対して $5/TB が課金されます。その上、Redshift Spectrum より早いのですから、使わない理由がありません。 その課金形態ゆえ、BigQuery でデータ処理を行う際には、処理単位でテーブルを出力し、入力を繰り返すのではなく、テーブル参照を最小化した上で、全てを一つのクエリにおさめ、一度に全ての処理を完了するように書くことで料金を最小化することができます。6時間以内に完了しないクエリは、Operation timed out after 6.0 hours. Consid
-
1