[B! BigQuery] d4-1977のブックマーク

d4-1977 id:d4-1977

BigQueryに関するd4-1977のブックマーク (14)

Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた - BASEプロダクトチームブログ
こんにちは!! BASE BANK株式会社 Dev Division にてSoftware Developerをしている永野(@glassmonkey)です。普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。現在、自分たちのプロダクトであるYELL BANKの分析基盤を構築しています。その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータポータルで簡易CRMをビジネスサイドのメンバーである猪瀬 (@Masahiro_Inose)と協力して作ったのでそのご紹介です。いざ実施してみるとハマってる点もそこそこ多く、意外とGASやBigQueryの連携している情報が少なかったので、誰かの助けになれば幸いです。 thebase.in 簡易CRMツール
d4-1977 2021/07/12
あとで読む

BigQuery

OAuth

Google Apps Script
リンク
メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526
Google Cloud Day: Digital ’21 の発表資料です。 https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo ---------------------------------------------------------------------------------------------------- データドリブンに事業を推進するメルカリグループのデータ分析基盤を紹介します。 BigQuery とマネージド ETL & ワークフローサービス trocco® の活用で、Google Cloud 領域外の新規データ連携毎に発生するフルスクラッチ開発から脱却し、希少なデータエンジニア工数を創出。決済データと紐づけた営業活動分析にも成功しています。分析基盤構成
d4-1977 2021/05/30
あとで読む

BigQuery

統計

DWH
リンク
Firebase イベントデータ分析のための Google Cloud 活用方法 (1) Firebase イベントデータのスキーマ
本連載についてモバイルやウェブアプリケーションの KPI を改善させるためには、ユーザーの日々の利用状況や行動を適切に把握した上で、施策を検討して実施することが重要となります。特に、実際に KPI 改善施策を検討して実施する企画者やマーケターが、自分自身でデータを分析し、その結果にもとづいて施策を検討できるようになることは、﹁現状把握 → 施策検討 → 施策実施 → 効果測定﹂という KPI 改善のサイクルを迅速に回すために必要不可欠となっています。 Firebase SDK で開発されているアプリケーションについては、Google Analytics for Firebase を利用することで、ユーザーのイベントデータを簡単に Google Analytics で収集できるようになっています。さらに、収集したイベントデータを BigQuery へエクスポートすることにより、企画者や
d4-1977 2020/04/26
気になるFirebase

あとで読む

BigQuery

firebase
リンク
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
PyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！追記2. http://yuzutas0.hatena blog.com/entry/2017/09/12/203000 に補足を掲載しています！
d4-1977 2017/11/27
あとで読む

BigQuery

Python
リンク
RubyでBigQuery始めました | feedforce Engineers' blog
初めまして！今年1月からジョインしたyukiyanです。 feedforceではアプリケーションエンジニアを担当しています。最近、弊社のあるプロジェクトにて Google BigQuery を導入しました。その際、学びがいくつかあったので知見として投下します。 ※ Railsのプロジェクトなので、一部のサンプルコードにRailsの表現も含まれています。 BigQueryとは BigQueryとは、Google Cloud Platform(以下、GCP)が提供するクラウドサービスです。超でかいデータをSQL風のクエリで数秒で解析できます。5億件のデータを3秒程度でフルスキャンできます。もっと知りたいという方は、hadoop - Googleの虎の子﹁BigQuery﹂をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiitaを参照してください。gemの
d4-1977 2015/06/03
あとで読む

gem

BigQuery

google

API

ruby
リンク
#bq_sushi tokyo #1 - 資料一覧 - connpass
「#bq_sushi tokyo #1」の資料一覧です。
d4-1977 2015/04/26
BigQuery

google

あとで読む
リンク
Fluentd+BigQuery+Elasticsearch+Kibanaで迷惑メールを解析 - yanoの日記
僕のメールアドレスには、去年辺りから、どういうわけか毎日ほぼ決まった時間帯に、決まったフォーマットの subject をもつ迷惑メールが一日平均5通くらい届きます。普通であれば削除するのですが、﹁ほぼ決まった時間帯﹂﹁決まったフォーマットの subject を持つ﹂﹁複数通送られてくる﹂という特異性からか、無意識に削除せず別のフォルダに切り分けていました。数えてみると 1500 通くらいあったので、大して Big でもないしこれ以上 Big になって欲しくもないのですが、BigQuery に流し込んで解析してみたいと思います。 Fluentd(td-agent) を使うので、ついでに Elasticsearch とKibanaも使って可視化してしまいましょう。入力プラグインさえ作ってしまえば、後は Fluentd の出力プラグインが Elasticsearch と BigQu
d4-1977 2015/04/09
あとで読む

Fluentd

BigQuery

Elasticsearch
リンク
ビーックビックビックBigQuery♪ / Introduction of BigQuery - Speaker Deck
All slide content and descriptions are owned by their creators.
d4-1977 2015/03/22
BigQuery

google
リンク
FluentdとGoogle BigQueryで遊ぶぞ！ - パルカワ2
という入門記事を書こうと思いましたが、最高の記事があったのでやめました。こちらを参照すると良いです。ちなみにこういうスクリプトをピッと書いたらデータが送れてることが確認出来ました。 use strict; use warnings; use Fluent::Logger; my $logger = Fluent::Logger->new( host => '127.0.0.1', port => 24224, ); $logger->post("access.log", { uri => "http://google.com", request => { addr => "test-addr", ua => "test-ua", referrer => "test-referrer", }, }); 触った感じ便利そうなので、なんかやりたい。これも面白い感じがします。
d4-1977 2015/02/26
BigQuery

Fluentd

gcpja

あとで読む
リンク
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子﹁BigQuery﹂をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiitaよし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。プロジ
d4-1977 2015/02/26
BigQuery

Fluentd

gcpja

あとで読む
リンク
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
﹁BigQueryは120億行を5秒でフルスキャン可能﹂は本当か？先日、kaheiさんがGoogle BigQuery︵Googleクラウドの大規模クエリサービス︶について、こんなエントリを書いていた。とにかくパフォーマンスがすごい。︵Fluentd Meetupでの︶プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる︵これ、記憶がちょっとあいまい。もう少しかかったかも︶。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきましたこれを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
d4-1977 2015/02/26
BigQuery

Fluentd

gcpja

あとで読む
リンク
BigQueryにTwitterのタイムラインを入れる [Ruby]
Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、Mongo DB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery にTLを保存するとできることTLの全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ をTLから検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより﹁某CA社では 5000 台の MongoDB クラスタで BigQuery に対抗している﹂という
d4-1977 2015/01/24
BigQuery

あとで読む
リンク
Google BigQueryについて紹介と推測
LT駆動開発 23 - 懇親会 deLT https://ltdd.doorkeeper.jp/events/38389 ちょっと前に岡山のWeb系勉強会界隈で話題になっていた若者が勉強会に参加しない問題について自分なりに思ってる事を話してきた。そういう若者はいるけど知らないだけな可能性もあるし、そういう若者たちがやっているイベントを知らないだけの可能性もある。幅広くアンテナ広げることも大事なのかなと思う。
d4-1977 2015/01/24
BigQuery

google

あとで読む
リンク
BigQueryを簡単にグラフにするGoogle Apps Script : TORETA（トレタ）ブログ
アプリを作ると、ユーザなどへサービスを提供する部分以外に、管理画面やサービス統計などの裏方のページを作る必要がでてきます。
d4-1977 2015/01/20
あとで読む

Google Apps Script

BigQuery
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx