[B! sql] miguchiのブックマーク

SQLの達人への道: MySQLでの高速・効率的クエリ作成術 - Qiita

データベースとテーブルの作成テスト用のデータベースtestdbを作成し、パフォーマンスチューニングを検証するためのcompanyおよびpersonテーブルを定義します。 CREATE DATABASE testdb; USE testdb; CREATE TABLE company ( company_id INT AUTO_INCREMENT PRIMARY KEY, company_name VARCHAR(255) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE person ( person_id INT AUTO_INCREMENT PRIMARY KEY, company_id INT, person_name VARCHAR(255) NOT NULL, em ail VARCH

miguchi 2024/02/24

sql
mysql

リンク

DuckDB メモ

モチベーション JSONL を読み込んで解析するツールが欲しかったログを読み込ませたいので圧縮機能は必須自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み顧客が問題解析を気軽にできるようにしたい顧客向けツールとして提供したいつまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開したいログファイルは大きくても 100 GB は行かないもともと Go + SQLite + JSONB で検討していた SQL で書きたい SQLite ファイルとして書き出したい SQLite ファイルフォーマットは信頼できる S3 などにファイルを置いておくだけにしたいクラウド版に組み込みたい顧客毎に duckdb ファイル作ればいいのでは？ duckdb ファイルダウンロードできると便利そう DuckDB https://d

miguchi 2024/02/07

リンク

SQL Training 2021

Hands-on / Kaname Frusawa / Cloud Compare Users Meetup 2024 at University of Tokyo on April 17

miguchi 2023/11/18

リンク

SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。背景 SQLを使った監視基盤の構築実際の監視項目例他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか承認済みビューの設定が意図せず消えていないか今後の展望背景データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態

miguchi 2021/08/27

sql
監視

リンク

社内SQL研修のために作った資料を公開します | 株式会社AI Shift

こんにちは、Development Teamの三宅です。先日、社内︵AI事業本部内︶でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。はじめに例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践︵チーム開発︶でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。研修資料研修内容 SQL研修の内容は、基本的には大学のデータベース講義で

miguchi 2021/06/22

sql
資料

リンク

「分析SQLスタイルガイド」をかなり真面目に考えた - Qiita

目次なぜSQLのスタイルガイドが重要なのかこの記事の目的この記事の対象者分析SQLスタイルガイドの指針基本ルール命名規則インデントルール別名ルール joinルールクエリ分割ルール ⭐ コメント欄で「いや私はこう思う！」という意見をたくさんいただきました！ぜひそちらも御覧ください！（決して揶揄ではないです）なぜSQLのスタイルガイドが重要なのか SQLはプログラミング未経験者でもとっつきやすい言語と言われ、エンジニアや分析を本業としていない人でもSQLを使う機会が増えてきていると思います。そんなSQLですが、こちらのブログでも指摘されている通り、一般的なスタイルガイドが定まっていません。スタイルガイドとはコードの書き方マナーようなもので、どこで改行するか、空白はいくつ入れるか、大文字を使うかなどの諸々を指します。もしスタイルガイドが無いとこんな事が起こりますコードに

miguchi 2021/01/12

sql
分析

リンク

ポケモンを題材に「SQLアンチパターン」を実践してみる - kanayamaのブログ

@tkanayama_です。「SQLアンチパターン *1」という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記登場人物ストーリーフシギダネへの対応ヤミカラスへの対応ディグダへの対応誤登録でポケモントレーナーになってしまったユーザーの削除最後に謝辞追記このブログを公開後、「外部キー制約はレコードロック周りのト

miguchi 2020/07/28

リンク

SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた

2016/10/22 GCPUG Fukuoka 4thで発表。 BigQueryのStandard SQLの機能やLegacySQLからの移行に関する注意点など。Read less

miguchi 2016/10/26

sql
bigquery

リンク

Time-based SQL Injectionは意外に実用的だった

このエントリでは、Time-based SQLインジェクション、すなわち時間差を利用したSQLインジェクションが意外に実用的だったという報告をします。デモ映像ありです。はじめに Time-based SQL Injectionという攻撃があります。これはブラインドSQLインジェクションの一種で、ある条件の場合に一定時間︵例えば5秒︶スリープし、そうでない時との応答時間の差で情報を盗もうというものです。1回のHTTPリクエストで1ビットの情報が得られるので、それを積み重ねることによって、いくらでも情報を盗めるはずです…理論的には。しかし、﹁理屈はそうでも、時間が掛かりすぎるよね﹂ということで、深くは追っかけていませんでした。SQLインジェクションの検査には有効でも、悪用としての実用性はあまりないと考えていたのです。きっかけきっかけは、以下のYahoo!知恵袋に以下の質問です。 SQL

miguchi 2015/04/17

リンク

深い親子関係のテーブル設計

This document discusses using Rails as a backend for front (BFF) layer in a microservices architecture. It describes how Rails was used to build the BFF layer for an e-commerce site called HPB, acting as an API gateway between the client and various backend services. Key points discussed include using Puma to improve throughput, caching APIs to reduce response time, and implementing an API gateway

miguchi 2015/02/15

リンク

Stack Overflowの裏側は、Webサーバ9台、SQL Serverが4台など。月間5億6000万PVをさばくシステムの状況を公開中

IT エンジニアのコミュニティサイトStackOverflowなどを運営するStackExchangeが、同社のサービスを支えているシステム構成の状況を知らせるWebサイトを公開しています。同社のサービスは各国版のStack Overflowのほかにも、サーバ管理者のためのServer Fault、数学関係者のためのMathematicsなど多岐にわたっています。これらを合わせた同社のサービスは月間5億6000万ページビュー。このページビューを、48GBのメモリを搭載した9台のWebサーバ。384GBのメモリを搭載しライブ／ホットスタンバイ構成にクラスタ化した2台のSQL Serverと、288GBのメモリを搭載した2台のSQL Serverによるもう1つのクラスタの合計4台のSQL Server。96GBのメモリを搭載し、マスター／スレーブ構成にした2台のRedis Serverなどで

miguchi 2015/01/07

Server
sql

リンク

Google SpreadsheetとQuery Language - $shibayu36->blog;

Google Spreadsheetを使ってたら、Query Languageというのがあるということに気づいて非常に便利だったのでメモ。 Query Language Reference (Version 0.7) | Charts | Google Developers Query LanguageというのはGoogle Spreadsheetの内容をSQLっぽい文法で絞り込んだり計算したりできるもの。例として非常に雑な例を出すと、簡単なTODOリストをおいている Sattus, Task名, 締切が書いてある﹁TODO全体﹂というシートに書かれているというようなシートがあるとする。このシートから別シートに、DOING状態になっているタスクを日付順に抜き出したい別シートに、Due dateを超えたタスクを抜き出したいという2つのことをやりたいとすると、Query

miguchi 2014/09/14

リンク

http://cramer.io/2014/05/12/scaling-sql-with-redis/

miguchi 2014/05/14

リンク

mysqldump と repair with keycache - いちいの日記

でかいテーブルをdumpしてimportしなおすときに、alter enable keysで "repair with keycache" に悩まされてたんですが、MySQL Forums見てたらそのものズバリなのを見つけたのでメモ。 http://forums.mysql.com/read.php?35,155467,166902 ご存知の方には当たりまえな感じですが、自分はそもそも repair by sorting と repair with keycache の2通りのメッセージが出し分けられていること自体に気づいてませんでした。 mysqldump mysqldumpをつかってデータベースを(そのままimportに使える)SQL文に吐き出します。 % mysqldump -uuser -ppass -hhost hoge > hoge.sql このときhoge.sqlの中身はこん

miguchi 2014/05/03

sql
mysql

リンク

『C.J.Dateのデータベース実践講義 - エンジニアのためのリレーショナル理論』　雑感（途中） - kmizuの日記

データベース実践講義 ―エンジニアのためのリレーショナル理論 (THEORY/IN/PRACTICE) 作者: C.J.Date,株式会社クイープ出版社/メーカー: オライリージャパン発売日: 2006/02/01メディア: 大型本購入: 4人クリック: 170回この商品を含むブログ (52件) を見る実はまだ完読してないのだけど、結構刺激的で面白い本なのでブログ再開ついでに紹介してみよう。まず断っておく必要があるのは、この本は、SQLや特定ベンダのRDBMSの取り扱い方のノウハウ本ではないということ。その意味でこの本を読むことで即座に実践に何かを活用できるかは不明である。彼は関係モデルの祖であるCoddと共同作業をしていた時期があったこともあってか、この本では本来RDBの基礎であるべき︵と彼が主張する︶リレーショナルモデルをきっちり理解しなければならないという主張で一貫しており、こ

miguchi 2013/11/11

リンク

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン﹁Presto﹂を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl

miguchi 2013/11/08

リンク

HBaseCon 2013: Realtime User Segmentation using Apache HBase -- Architectural Case Study

At RichRelevance, we service 10 of the top 20 Internet retailer chains and deliver more than $5.5 billions in attributable sales. Every 21 milliseconds a shopper clicks on a recommendation that we have delivered, and we serve over 850 million product recommendations daily. Our Hadoop infrastructure has a capacity to handle upwards of 1.5+ PB. Behavioral Targeting, specifically user segmentation an

miguchi 2013/07/10

リンク

国土交通省のデータを使って、緯度経度から市区町村までを取り出す - Qiita

FrogApps 技術ブログ始めました！ RailsやiOS、HTML5の情報を発信中!! → http://qiita.com/teams/frogapps ここ数年、位置情報を使ったアプリ・サービスが増えましたが、GPSから取得出来る緯度経度だけではデータとして使いにくい事があります。 GoogleのGeocodingサービスなどで、緯度経度から住所への変換ができますが、件数や速度の問題があります。そこで、国土交通省のデータを元に、緯度経度から住所への変換を行ってみましょう。国土数値情報ダウンロードサービス http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03.html から全都道府県を選択。最新の情報を全都道府県分選択します。 PostGISのセットアップ http://trac.osgeo.org/postgis/wiki/

miguchi 2013/06/19

リンク

SQL JOINs visualized

Copyright © 2009-2015. All rights reserved. This blog is called myNoSQL and it is written by me, Alex Popescu, a software architect with a passion for open source and communities. It records my readings, learnings, and opinions on NoSQL databases, polyglot persistence, and distributed systems -- subjects that I'm passionate about. The opinions expressed here are my own, and no other party necessar

miguchi 2013/06/01

リンク

はてなブックマーク

タグ

関連タグで絞り込む (34)

sqlに関するmiguchiのブックマーク (19)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス