[B! SQL] quality1のブックマーク

BigQuery縦持ちデータを動的に横持ちデータにする方法 - ドワンゴ教育サービス開発者ブログ

はじめにドワンゴ教育事業でデータアナリストとして働いている小林です。一般的にデータアナリストはデータの収集・分析を通して組織の意思決定を支援する役割を期待されることが多く、ドワンゴ教育事業における私のミッションもKPI動向の可視化やダッシュボード / レポートの作成・提供を通してデータドリブンな組織に貢献するところにあります。私たち教育事業には施策を実行する企画者やビジネス上の意思決定者だけでなく、サービスを活用して教育の現場に立っている方々、サービスに展開している教材を制作しているチームなど多様な方面からデータ収集・分析の需要があります。それだけにやりがいも大きく楽しい日々を過ごしています。課題について︵導入に代えて︶クエリを書いて、結果を分析して、資料にまとめて、展開して、共有して・・・みたいな仕事をしているとSQLで抽出した縦持ちのデータを横持ちに作り変えたいことがよくあり

quality1 2024/07/17

うーんすごい、多分これいつか使うけど使うとき忘れてそう

リンク

複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

最近﹁ああ、これ前職でも前々職でもやったことあるなぁ﹂という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて﹁このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな﹂と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。前提どこでも必要とされたスキルデータマネジメントに関する概要レベルの知識と実行力セキュリティや法令に関する知識事業ドメインに関する興味関心他職種とのコミュニケーション能力コスト管理 / コスト削減のスキルソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力分析用のSQLを書く力古いテーブルやデータパイプラインを置き換えていくスキルや胆力あるとやりやすいスキル関連部署の動きを何となく把握しておく力

quality1 2024/04/29

リンク

データ分析のためのSQLを書けるようになるために

はじめに本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。勉強方法基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。書籍 SQL 第2版: ゼロからはじめるデータベース操作前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ

quality1 2024/04/02

リンク

リレーショナル・データベースの世界

序文私の仕事は、DB エンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。﹁Web系は花形、データベースは日陰﹂という言葉も囁かれていました。今でも囁かれているかもしれません。ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。今でこそバイブルと仰ぐ﹃プログラマのためのSQL 第2版﹄も新入社員には敷居が高すぎました (2015年2月追記‥その後、自分で第4版を訳出できたのだから、人生は何があるか分からないものです)。そこで、です。このサイトの目的は、データベースの世界に足を踏み

quality1 2024/02/29

リンク

BigQuery データ共有にはデータセットへのアクセス権の付与より Analytics Hub を選ぶ - Qiita

BigQuery データセットへのアクセス権付与の特徴 BigQuery データセットへのアクセス権付与は、特定のユーザーやグループに対する直接的なアクセス管理を可能にします。これは小規模な共有には適していますが、大規模な組織や多くの外部パートナーとの共有では管理が煩雑になりがちです。特に、大規模なデータアクセスの場合、アクセス権の管理がセキュリティ上の課題となります。行レベルセキュリティと組み合わせるにしても、大量のアクセス権をデータセット単位で正しく設定するのには限界があります。 Analytics Hub と比べると以下のような特徴を持ちます。 BigQuery 全オブジェクトと機能、リージョンをサポート新機能をすぐに使えるのが魅力 access 監査ログが残る BigQuery IAM で一貫性のある権限設定 Analytics Hub の特徴 Analytics Hub は以下

quality1 2023/12/05

リンク

BigQuery Studio は何者なのか

はじめにこんにちは、クラウドエースデータMLディビジョン所属の工藤です。クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータMLディビジョンです。データMLディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。今回紹介するリリースは、BigQuery Studio です。BigQuery Studio の登場により、BigQuery 上で Python ノートブック環境が使えるようになりました。Duet AIによるコード補完もサポートしていますので、非エンジニアの方もデータ分析しやすい環境

quality1 2023/12/01

Duet AI

リンク

無料で学ぶ『達人に学ぶSQL徹底指南書第1版』 - Qiita

はじめに『達人に学ぶSQL徹底指南書第1版』は、CodeZine連載とミック氏ウェブサイトの掲載記事をもとに、加筆・編集されたものです。 CodeZine連載、および、ミック氏ウェブサイトは、どちらもオンラインの無料公開コンテンツです。今回、「書籍と元コンテンツの対応表」を作成しました。書籍のために書き下ろされた一部コンテンツや演習問題は見れませんが、その一方、編集で割愛された内容などが含まれるので、書籍以上のことを学べる箇所もあります。すでに新版『達人に学ぶSQL徹底指南書第2版』が出ていますが、各テーマは第1版でも大きく変わっておらず、現在でも通用する基本的で面白い内容なので、一見の価値はあると思います。書籍と元コンテンツの対応表 No. 目次 CodeZine連載ミック氏ウェブサイトテーブル定義サポートページ

quality1 2023/11/04

リンク

マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、﹁データが抽出できる﹂だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に

quality1 2023/02/15

このぐらいできる組織ってどのくらいあるんだろう

bigquery
SQL

リンク

GA4データの分析用SQLまとめ｜Dentsu Digital Tech Blog

電通デジタルの中野です。今回は、Google Analytics 4︵GA4︶をBigQueryで分析する際によく使うSQLをまとめました。自身の業務でもよく使用するため備忘録的な側面もありますが、参考までに活用いただければと思います。前提BigQueryに連携したGA4データにはいくつか前提条件があります。その中で最も大きな点は、GA4のレポート画面と数値が一致しない場合がある、ということです。詳細については、こちらのページに記載があります。ユーザー数やセッション数といったユニーク数を算出する場合、データ量が多いと計算に時間がかかります。そこでGA4レポートではHyperLogLogというアルゴリズムを使用して近似値を算出しています。精緻な値を計算する場合は、現状BigQuery以外に手段がありません。こういった制約からもBigQuery上でSQLを使った分析をする場面は増

quality1 2023/02/07

助かるわ

リンク

データベース研修（SQL基礎編）【ミクシィ22新卒技術研修】

22新卒技術研修で実施したデータベース研修（SQL演習編）の講義資料です。動画：https://youtu.be/dseGQ2MZF1U 演習用Colab Notebook https://colab.research.google.com/github/mixigroup/2022BeginnerTrainingDataBasePublic/blob/master/22db_sql.ipynb データベース基礎編 https://speakerdeck.com/mixi_engineers/2022-database-training

quality1 2023/01/26

bigquery
SQL

リンク

あなたの遅延はどこから？ SQLから！〜患部に止まってすぐ効くSQLレビューチェックリスト年初め特大サービス号〜 - ANDPAD Tech Blog

あけましておめでとうございます！今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないかサブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基本的に禁止 CROSS JOINは禁止 WHERE句で十分に絞った検索をしているか必要なcolumnだけSELECTしているかレコード数だけ必要な場合にCOUNT用のSQLを発行しているか集計関

quality1 2023/01/12

リンク

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。﹁Datastream for BigQuery﹂登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス﹁Datastream for BigQuery﹂をプレビューリリースしました。オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet

quality1 2022/09/20

あっさりサクッと安くできるならやりたい

リンク

SQLの練習ができる学習サービス「SQLab」を作ってみた - Qiita

はじめにこんにちは、タケと申します。 SQLの練習ができる学習サービス﹁SQLab﹂を作りました。 ※ PC専用です。 ※ 推奨ブラウザはGoogle Chromeです。なぜ作ったの？ SQLを学び始めた当初は﹁SQLってなんか難しそう﹂というイメージでしたが、練習問題を解いていく中で次第に自力でクエリを組み立てることが﹁クイズみたいで楽しい﹂と思うようになりました。そこでもっと多くの練習問題を解いてみたい、もう少し難易度の高い練習問題を解きたいと思ったのですが、・無料でバリエーション豊かな多くの練習問題に取り組める・環境構築不要でブラウザ上ですぐに実践できる・シンプルで使いやすいUI ・ER図やデータベース値を参考にしながら自力でクエリを組み立てる必要があるの条件を揃えた学習サービスがなかったので作ることにしました。どんな練習問題があるの？現在は5つの問題集が

quality1 2022/09/12

リンク

読みやすく、再利用しやすいSQL分析クエリを書くコツ

こんにちは、Wantedlyでデータサイエンティストをしている樋口です!自分は過去、分析のためにSQLを書いているとき、以下のようなミスをしていました。メール開封率を集計したら何故か100%を超えてしまった。でもどこが原因かがわからないメール開封率を集計したのち、クリック率も追加で依頼を受けたが、再利用できるクエリになっておらず、一から書き直したクエリのレビューを依頼したら、複雑すぎると言われてしまったこういった経験がある方は自分以外にもいるのではないでしょうか...! SQLは非常に自由度が高く便利である反面、書き方が個人に委ねられ、複雑・難解になりやすいと感じています。そこで本記事では、自分が実務で学んだ、読みやすく、再利用しやすいSQLクエリの書くコツを紹介したいと思います。個人の経験によるものなので、より良い書き方・考え方もあるかもしれないです。ご了承ください🙏 読み

quality1 2022/07/30

いつも長々とfrom書いて申し訳ない

SQL

リンク

はてなブックマーク

タグ

関連タグで絞り込む (13)

SQLに関するquality1のブックマーク (14)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス