[B! SQL] koda3のブックマーク

非エンジニアが最速でSQLをマスターする方法 - Gunosy Tech Blog

こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。そこで今回は特別プログラミングなどの経験が無い人でも、SQL

koda3 2018/02/06

sql

リンク

Franchise - 多数のデータベースに対応したSQLノートブック

SQLを覚えると実務で使える様々なデータを取得できるようになります。毎回同じようなSQLを記述するのが面倒で、テキストファイルに定番のSQLをメモで残している方も多いのではないでしょうか。そんな方にお勧めなのがFranchiseです。SQLを残しておけるノートブックです。 Franchiseの使い方メイン画面です。複数のデータベースに対応しています。結果を地図に描画する例です。グラフ。線グラフです。棒グラフ。並び替えた棒グラフ。ドットだけ。表示を2カラムにしています。一般的な一覧表も可能です。レンジを使ってその時の値を表示するパターン。メールを取り込んでクエリを投げるパターン。 FranchiseのデータリソースはSQLite/PostgreSQL/BigQuery/Mongo DB/Microsoft SQL Server/Oracle/DB2/Teradataなどとな

koda3 2017/10/15

database
sql

リンク

SQLCheck - 危ないSQLがないかチェックしよう

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しましたシステム開発時においてデータベースは欠かせない存在です。しかしその際に利用するSQLはテクニックによってはもの凄いデータが取れる一方、誤ったコーディングによってデータを消失したり抜き取られるリスクがあります。そこで使ってみたいのがSQLCheckです。問題、リスクあるSQLをあらかじめチェックしましょう。 SQLCheckの使い方 SQLCheckの実行結果です。SQLファイルを渡すだけです。 $ sqlcheck -f /path/to/tmp-publisher.sql ------------------------------------------------- > RISK LEVEL :: ALL ANTI-PATTERNS > SQL FILE NAME :: /

koda3 2017/09/22

sql

リンク

Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン﹁KSQL﹂のデベロッパープレビューをリリースしました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。KSQLは、このKafkaに対応したSQLエンジン。これによりJavaやPythonで複雑な処理を記述しなくとも、ストリームデータを柔軟に加工できるようになります。 SQLとKSQLの違いとは？一般的

koda3 2017/09/05

Kafka
sql

リンク

DBeaver - 多彩なデータベースに対応した管理UI

データベースを使った開発や運用時においてGUIの管理インタフェースが欲しいと思うことは多々あります。特にプロジェクトによってデータベースの種類が違ったり、接続先があちこちに存在するとそう感じるはずです。そこで使ってみたいのがDBeaverです。多彩なデータベースに対応した管理UIです。 DBeaverの使い方接続先の選択画面です。PostgreSQL/MySQL/MariaDB/DB2/Oracle/SQL Serverなどの基本に加えてMS Access、infomix、Mongo DB、Firebirdなども選択できます。 SSHトンネルに対応しているので本番環境のデータベースも確認できるでしょう。接続しました。テーブルの一覧です。データも確認できます。ダイアグラムはリレーションなどの関係が分かるようになっています。 DBeaverを入れておけば、大抵のデータベースには接続で

koda3 2017/05/05

sql
database

リンク

Spark 2.0 で Spark SQLを試す - astamuse Lab

こんにちは！Spark大好きな朴です。本日はSpark 2.0で大幅の改善が行われてたSpark SQLについて書こうと思います。弊社ではCDHのバージョンアップをこまめに行うことでSpark,HBaseなどのプロダクトの最新バージョンを常に試せる環境を作っております。 Spark 2.0についても先日弊社福田のもう待てない、Spark2.0の導入と実践にも書いてたとおりもう使えるようになりました。ということで少し乗り遅れた感もありますが、本日はSpark 2.0でSpark SQLの実力を試したいと思います。 Spark 2.0でSpark SQLの主な変更点は以下の3つ SparkSession 性能改善サポートするSQLが増えた本日は上記3つの改善について触れてみたいと思います。︻変更その1︼ SparkSQLのニューエントリポイントSparkSession Spark

koda3 2017/03/01

spark
SQL

リンク

Azure Cosmos DB - NoSQL and Relational Database | Microsoft Azure

Products Popular View all products (200+) Azure Virtual Machines Azure Virtual Desktop Azure SQL Microsoft Copilot in Azure PREVIEW Azure AI Services Azure AI Studio Azure Cosmos DB Azure Kubernetes Service (AKS) Azure Arc Azure Migrate AI + machine learning Azure Machine Learning Azure AI Services Microsoft Copilot in Azure PREVIEW Azure OpenAI Service Azure AI Studio Azure AI Vision Azure AI Se

koda3 2017/02/19

リンク

Googleがグローバルな分散データベースCloud Spannerをローンチ、SQLとNoSQLの‘良いとこ取り’を実装 | TechCrunch Japan

Tempus, a genomic testing and data analysis company started by Eric Lefkofsky, who previously founded Groupon, debuted on Nasdaq on Friday, rising about 15% on the opening. The company priced… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent lay

koda3 2017/02/15

リンク

はじめてのSpark SQL！Amazon EMRを使って10分で試してみる | DevelopersIO

はじめに Spark SQLに触ってみたので手順などをまとめました。Spark SQLというのは Apache Hiveのようにクエリ実行することで分散処理ができるものです。Hiveとの違いはインメモリであるために高速に処理できることとクエリ言語にSQLが使えることです。10分位で試せると思いますのでSparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する今回は私が趣味でやっているポケモン GOで捕まえたポケモンの名前、CP、タイプ情報が入っ

koda3 2016/09/29

spark
sql

リンク

[SQL] SQL文の書き順〜PostgreSQL Tutorialを使いながら解説〜 | DevelopersIO

はじめにいざSQL文を書こうと思ったけど、どこから書けばよいのか迷うことはないでしょうか？まずはselect句から書こうかな。。使用するテーブルはわかっているのでfrom句から。。 where句はちょっと長くなるから後回しにして。。。などなど長いSQL文を書く必要がある時に、どこから書けばいいのか迷う方︵僕もそうです︶に読んでいただければと思います。今回ご紹介する書き方は、あくまでも僕がSQL文を書く時に気をつけている方法ですので、他にもっといい書き方・書き順がある可能性があります。今回は順番にフォーカスしているため、個々の句についての解説は割愛します。環境 MacOS 10.10.5 PostgreSQL 9.4.5 実行順序 SQLが実行される順番は以下のようになっています。 FROM → WHERE → GROUPBY → HAVING → SELECT → ORDE

koda3 2016/07/24

リンク

SQLの苦手意識を克服できる！基礎から学べるサービス9選

現役IT エンジニアの方の中には、SQLに対して苦手意識を持っている方もいらっしゃるのではないでしょうか。 SQL自体は、ANSI︵米国国家規格協会︶や、ISO︵国際標準化機構︶で言語仕様の標準化が行われているので、一度マスターしてしまえば、製品によって多少の違いはあれど、基本的にどのDBでも同じように利用することが可能です。つまり、実はエンジニアにとって非常に嬉しい言語なのです。今回は、苦手意識を持たれている方も気軽に始めることができて、かつ必要な情報を網羅できるオススメのサイトを9つご紹介します。このニュースを読んだあなたにオススメノンプログラマーがWebサービスやツールを作るまでの備忘録20選無料で学べる人気プログラミング学習サイト21選プログラミングするならこれ！無料で使えるおすすめのテキストエディタ6選 SQLが学べるサービス9選 1.ドットインストール http://

koda3 2016/07/23

sql

リンク

ベン図を使って直感的に理解できる「SQL cheat sheet」 | ソフトアンテナ

データベース問い合わせ言語﹁SQL﹂。リレーショナルデータベースを扱う上で欠かすことができない存在ですが、普通のプログラミング言語と比較すると、記述の自由度が高く苦手意識を持っている方も多いかもしれません。本日紹介する﹁SQL cheat sheet﹂はそのSQLを操るために必要となる情報を一枚のシートにまとめたチートシートです。基本的な問い合わせからデータ操作、JOIN、ユーティリティ、レポートまで、普段必要となる情報がさっと確認できるように作られています。特に混乱が生じやすいJOINに関しては、LEFT OUTER JOIN、INNER JOIN、RIGHT OUTER JOINの違いをベン図を使った分かりやすい説明が掲載されています。サイトからはチートシート本体のファイルの他、チートシートの内容に関する説明も掲載されています。内容に疑問を持った方は併せて確認してみると良いかもし

koda3 2016/07/15

sql

リンク

ソシャゲエンジニアの自分がコードレビュー時に重視する箇所33選【随時追加】 - Qiita

コードレビューで土日に安寧をソーシャルゲームは、ユーザアクセス集中と、それに伴うユーザデータ増加によって劇的に負荷が上がり、︵主に土日に︶サービスに影響を与えがちです。問題があるコードは、たとえ負荷テストを行っても、作成したシナリオによっては見つけられない可能性もあります。そういった見えない不安を払拭するという意味でも、コードレビューは重要だと思っています。︻ステキポイント︼・ソースを見ることにより、時限爆弾が土日に爆発するのを解除・スキル共有によってメンバーがレベルアップすることにより、土日に爆発する時限爆弾の設置確率低下まぁまとめるとこれに尽きます︵4歳の息子談︶今は、gitのプルリクエストという強力なレビューツールもあり、敷居がかなり低くなったのでオススメです！チェックするポイントは5つコードレビューを行うにあたり、﹁どんなところをチェックすればいいのか分か

koda3 2016/04/08

リンク

超便利なDB用GUIツール『0xDBE』が『DataGrip 1.0』として正式リリースされました | DevelopersIO

Welcome DataGrip 1.0: a JetBrains IDE for DBs and SQL (formerly @0xDBE) https://t.co/n5mZkr7Dim pic.twitter.com/R6mYxcZ5t7 — JetBrains (@jetbrains) 2015, 12月 16 今年7月に以下エントリで紹介していたDB専用GUIツール『0xDBE』が、正式に『DataGrip』という製品名でこの度リリースされた模様です。 Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について｜ Developers.IO 当エントリでは、ツール『DataGrip』の機能及び費用について簡単にではありますがご紹介してみたいと思います。目次 DataGrip: 主な機能 DataGrip: 価格まとめ DataGrip: 主な機

koda3 2015/12/17

リンク

LIKE句のSQLインジェクション | Yakst

GitHubのエンジニアがデータベースのスローログから見つけた、LIKE句を使ったクエリーのパフォーマンス問題につながる可能性のある文字列。問題の仕組みと、それを回避するためのスニペット。先日、例外情報のトラッカーを見回していたら、目を引くスロークエリーログを発見しました。SELECT ... WHERE ... LIKEといったクエリーのLIKE句にたくさんのパーセントが付いているのです。この部分はユーザが入力した部分なのは明らかで、最初私はSQLインジェクションを疑いました。 [3.92 sec] SELECT ... WHERE (profiles.em ail LIKE '%64%68%6f%6d%65%73@%67%6d%61%69%6c.%63%6f%6d%') LIMIT10コードを見てみると、ここで解釈されるメタ文字(%や_や\)のチェックをまったくせずにユーザが指定し

koda3 2015/11/17

リンク

【MySQL】カンマ区切りのIDのリストを、マスタテーブルで定義されている日本語名にフォーマットして出力する不思議なSQL | バシャログ。

koda3 2015/09/29

sql
mysql

リンク

サービス終了のお知らせ

サービス終了のお知らせいつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。お客様がアクセスされたサービスは本日までにサービスを終了いたしました。今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。

koda3 2015/09/14

null
sql

リンク

3値論理とNULL

要するに、データベースにnullが1つでも含まれていれば、クエリから正しくない結果が返される可能性がある。しかも、一般的には、どのクエリから正しくない結果が返されるのかを知る方法はないので、すべての結果があやしく見えてくる。nullが含まれたデータベースから正しい結果が得られることは確信できない。筆者に言わせれば、この状況はまさにお手上げである。 ――――C.J.デイトはじめに多くのプログラミング言語が、真理値型︵BOOL型、BOOLEAN型︶というデータ型を持っています。もちろん、SQLにも真理値型が存在します。ユーザーが直接扱えるデータ型として定義されたのはSQL-99ですが、WHERE句などの条件の評価時にも真理値の演算が行なわれています。ところで、普通のプログラミング言語の真理値型とSQLの真理値型の違いをご存知でしょうか？それは、普通の言語の真理値型が、true、fals

koda3 2015/09/14

sql
database

リンク

SQLアンチパターン幻の第26章「とりあえず削除フラグ」

SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902Read less

koda3 2015/09/01

database
sql

リンク

MySQL使いが知るべきPostgreSQLとの違いと変わらない一つのこと

— そーだい＠初代ALF (@soudai1025) 2015, 8月24とブーメラン投げて見事に刺さってるので今から記事書く。両サイドにはかなり厳しい話もするが俺の本音を聴いておけ︵関白宣言︶まぁ歴史の長いRDBなのでお互いの比較記事は沢山ある。なのでマルチスレッド(MySQL)とマルチプロセス(PostgreSQL)だとかVACUUMだって話はしない。むしろ実際に使ってみた際の違いをにフォーカスする。 1. SQLの違い基本的にMySQLでやっていたことはPostgreSQL出来る。しかし関数の挙動の違いは幾つかある。例えば時間から曜日に該当する数字に変換した場合に MySQL　→　date_format(time,"%w")　0から始まり、日曜日に該当するPostgreSQL　→　to_char(time,'D')　1から始まり、日曜日に該当するなど挙動に互換性

koda3 2015/08/24

リンク

はてなブックマーク

タグ

関連タグで絞り込む (22)

SQLに関するkoda3のブックマーク (30)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス