[B! sql] snjxのブックマーク

snjx id:snjx

sqlに関するsnjxのブックマーク (121)

リレーショナル・データベースの世界
序文私の仕事は、DB エンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。﹁Web系は花形、データベースは日陰﹂という言葉も囁かれていました。今でも囁かれているかもしれません。ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。今でこそバイブルと仰ぐ﹃プログラマのためのSQL 第2版﹄も新入社員には敷居が高すぎました (2015年2月追記‥その後、自分で第4版を訳出できたのだから、人生は何があるか分からないものです)。そこで、です。このサイトの目的は、データベースの世界に足を踏み
snjx 2023/11/10
あとで読む

DB

sql

技術

データ

設計

考察

チューニング

パフォーマンス

db
リンク
MySQLでINSERTのデッドロックに嵌る人を1人でも減らすために - ichirin2501's diary
この記事ははてなデベロッパーアドベントカレンダー2015の12月24日の記事です。昨日は id:stefafafan さんのエンジニアと英語でした。こんにちは、こんばんは。クリスマス・イヴですね、皆さんはどのような一日を過ごされる(た)のでしょうか。僕は一人です。改めまして、先日初めての合コンを経験/失敗して二度と行かないと誓ったはてなの id:ichirin2501 です。今回は小ネタとしてMySQL(InnoDB)のBULK INSERTにおけるデッドロックの話をしようと思います。ただ、外部キー制約が絡むと複雑になるので今回は触れません。それについてはこちらを参照ください。あ、タイトルはオマージュです*1。 Topic 検証環境 INSERTのデッドロック避けられないケースもしくはロックするリトライ処理に注意初期データ Duplicateの場合 Deadlockの
snjx 2023/02/03
mysql

db

エラー

sql

技術

考察
リンク
MySQLのタイムアウトエラー（#1205 - Lock wait timeout exceeded）の確認及び対処 | 古松
MySQLエラー：#1205 - Lock wait timeout exceeded; try restarting transaction mysql MySQLのあるテーブルにデータ移行（insert）時にエラーが発生しました #1205 - Lock wait timeout exceeded; try restarting transaction mysql エラー後に「try restarting transaction」で、MySQLがデータ追加プロセスを再起動したようですデータ移行SQL文（非常に単純なテーブル間のデータ移動） insert into drills_ch_sentence_temp select * from drills_ch_sentence 原因：不明（おそらくデータ量が多い）はっきりした理由は分かりませんおそらくデータ量が多い、テーブル作成時に
snjx 2022/06/07
技術

mysql

db

sql
リンク
transactionの途中でトランザクションが切れてしまった時にそのトランザクションを殺す方法 - Garbage in, gospel out
起こったこと transactionモードで作業途中、セッションが切れた。そのとき特定tableにinsertをしたがcommitしていない状態だった。後ほど再度そのtableをselectしたが、当然commitしていないのでデータがなかった。しかしinsertしようとすると、 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction というエラーが表示され失敗した。原因 transactionがロックを取得したまま放置状態になっていたために発生した。対処基本方針は show processlist; と show innodb status; の結果を見比べてそれっぽいthread見つけて kill [thread id] する。 show processlist; してみると、今回
snjx 2022/06/07
技術

mysql

db

sql
リンク
トランザクションを強制的に終了させる - HHeLiBeXの日記正道編
前置き MySQL 5.1で、InnoDBなデータベースを使って何かを開発している最中には、トランザクションがコミット(またはロールバック)される前にプログラム側の処理が(Fatal errorなどで)異常終了したりして、トランザクションがロックを取得したまま放置状態になってしまうことがよくあるらしい(謎)。そんな時、MySQLのコマンドラインから更新クエリを発行すると、しばらく後に次のようなエラーが返ってくることがある。 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 一応参考までに書いておくと、このエラーが返ってくるまでの時間は、次のコマンドで知ることができる。 mysql> show global variables like 'innodb_lock_wait_timeout';
snjx 2022/06/07
技術

mysql

db

sql
リンク
テーブル設計の考え方とやり方 [入門編]
「基本から学ぶテーブル設計　超入門！」 https://modeling-how-to-learn.connpass.com/event/242944/ の発表資料。 - ２つの設計スタイルの違いを理解する - 何を記録するか（資源・活動・当事者・規程） - どう記録するか（テーブルの役割を単純に保つ） - 基本ツール：CREATE TABLE文 - データ型と制約
snjx 2022/03/31
設計

考察

資料

システム開発

技術

あとで読む

sql

db
リンク
表示順という属性を別テーブルに分ける - そーだいなるらくがき帳
最近、この説明を複数回したので記事にする。要約普段は今北産業派なのだが、3行考えるのが面倒なため、今後は大人の表現を使う。﹁今北産業﹂をスタートアップ語にすると﹁マジ価値サマリー﹂になるらしいちなみにここだけの話ですが、大人語にすると﹁要約﹂になります pic.twitter.com/Q8SflvBX7c— ところてん (@tokoroten) 2022年1月24日画面に表示したい順(以下、表示順︶は振る舞いの属性なので分ける似たような振る舞いに関わる属性は別テーブルにわけると良い普通に正規化しましょうって話。表示順をカラムを追加して表現するよくあるテーブルは画面情報と合わせて表示順カラムがあるパターン。こういうテーブルを作って SELECT * FROM it ems ORDER BY display_order_number; で表示順に取り出すパターン。表示順
snjx 2022/01/28
技術

システム開発

資料

考察

設計

db

sql
リンク
ActiveRecordでサブクエリ（副問い合わせ）と内部結合 - Qiita
0. はじめに 0-0. はじめに以前、「Rails における内部結合、外部結合まとめ」や「ActiveRecordにおけるGROUP BYの使い方」という記事を書いたのですが、サブクエリに関して、特にサブクエリと結合するときにActiveRecordでどう記述すればいいのか逡巡したときがあったので、備忘録的に記述します。また、Otemachi.rb#7にて、「いまさらサブクエリ」というタイトルでLTも行ったので、こちらも参考になるかもしれません。 0-1. RubyとRailsとPostgreSQLのバージョン $ ruby -v ruby 2.4.1p111 (2017-03-22 revision 58053) [x86_64-darwin16] $ rails -v Rails 5.2.0 => SELECT version(); version ---------------
snjx 2022/01/07
activerecord

ruby

rails

技術

db

sql
リンク
Mysqlでログ系テーブルを運用するときやっておきたいこと - 主夫ときどきプログラマ
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。ログ系テーブルの特徴ログ系のデータとは、つまり何かのアクションの履歴データのことです。一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
snjx 2021/12/27
あとで読む

mysql

運用

データ

db

設計

パフォーマンス

設定

sql

技術
リンク
【Rails】範囲オブジェクト(Range)を使ったActiveRecordのwhere比較、範囲検索のコードの書き方 - Simple minds think alike
ActiveRecordのwhereを使って、色々な書き方で比較演算(>, >=, <, <=)・範囲抽出(Beetween、◯以上□未満)を実装できますが、最近では範囲オブジェクト (Range (例: 10..30)) を使ってほとんど実装することができるようになっています。ただ、範囲オブジェクトを使った実装は Ruby2.7から導入されたbeginless range 範囲オブジェクトの開始の値を省略できる書き方(例: ..30) Ruby 2.6から導入されたendless range 範囲オブジェクトの終わりの値を省略できる書き方(例: 10..) を使うと綺麗に書けるので、可能であれば対応したRuby, Railsバージョンにすると良いと思います。範囲オブジェクトを使った書き方のメリット範囲オブジェクトを使った書き方範囲オブジェクトを使わない書き方範囲オブジェクトを使
snjx 2021/12/13
activerecord

rails

ruby

検索

sql

技術

考察
リンク
MySQLのデータをcsv,tsv形式でダンプする - Qiita
MySQLには mysqldumpというダンプツールがあります。基本的な使い方は以下のようになります。出力形式はSQLのCREATE文とINSERT文になりますが、オプションを指定することで、 csvや tsv形式にすることが可能です。 csv,tsv出力のオプション csv(tsv)で出力するには、 --tabと --fields-terminated-by の2つのオプションを使用します。 --tabオプションファイルの出力先ディレクトリを指定するオプションです。 --tab=/tmpと指定すれば、/tmp以下にファイルが出力されます。このオプションは、csv(tsv)形式で出力する場合は必須です。 --fields-terminated-byオプション区切り文字を指定するオプションです。デフォルトはタブになりますので、tsvファイルで出力する場合はこのオプションは不要です
snjx 2021/11/09
mysql

システム開発

技術

db

sql

CSV
リンク
RailsのtransactionメソッドとSQL - Qiita
よく忘れるので、ここにメモします。戻り値ブロックの戻り値がtransactionメソッドの戻り値になります。 val = ActiveRecord::Base.transaction do # BEGIN user.save! true end # COMMIT val #=> true
snjx 2021/10/25
“ActiveRecord::Base.transaction ”

ruby

技術

rails

sql

activerecord
リンク
[MySQL] テーブルをコピーする - ねこの足跡R
MySQLでテーブルをコピーします。以下の2つのパターンのそれぞれの特徴についてメモします。パターン1CREATE TABLE newtable LIKE oldtable; INSERT INTO newtable SELECT * FROM oldtable; パターン2CREATE TABLE newtable SELECT * FROM oldtable; テーブルをコピー CREATE TABLE ... LIKE 構文構文試してみる CREATE TABLE ... SELECT 構文構文試してみる参考ページテーブルをコピー MySQLでは大きく2つの方法があり、それぞれ特徴があります。1つずつ試してみたいと思います。今回はコピー元のテーブルとして以下のテーブルを用意しました。 /*-- コピー元のテーブル --*/ CREATE TABLE foo(
snjx 2021/10/07
“CREATE TABLE newtable SELECT * FROM oldtable;”

mysql

sql

技術

db
リンク
Rails(ActiveRecord)で自在にSQLを書く手段いろいろ
こんにちはー。 Railsである程度の規模の開発をしていると、ちょっと込み入った形のSQLでデータを取得したい状況が発生してきます。今回は、そんなときに役立つActiveRecordクエリのテクニックをご紹介します。ちなみにexecute()、arelは使いません。︵環境: Ruby 2.5.3, Rails 6.1.3︶ selectをゴリゴリ書く ActiveRecordのselectというメソッドがあります。基本的な使い方としては、こんな感じで、必要なカラムだけ取得するためのものです。 users = User.all.select(:id, :name) users.first.attributes # => {"id"=>1, "name"=>"Alice"} なんですが、SELECT句を文字列で好きに書くこともできます。別名を付けておくことで、その名前で値を取得できます
snjx 2021/10/05
ruby

rails

sql

activerecord

技術
リンク
Railsの生SQL概要：execute, select_all, find_by_sqlの使い方を覚える - Qiita
Railsの生SQL概要‥execute, select_all, find_by_sqlの使い方を覚えるRailsActiveRecordSQL Railsで使用する生SQL Railsにおいて、ActiveRecordのwhere等では表現できない複雑なクエリを使用してDBのデータを取得する場合、生でSQLを書く必要が出てくると思います。しかし、AcitiveRecordで生sqlを実行するメソッドは数多くあり、用途によってどれを使用すべきか分からないという方もいるのではないでしょうか。そこで今回はよく使用されるであろう、execute/select_all/find_by_sqlについて、どのように呼び出すのか、戻り値はなにか、どのような用途で使用すべきかについて説明します。先に結論を書いておくと execute -> クエリの実行 select_all -> セレクト文の結果
snjx 2021/10/05
ruby

rails

activerecord

技術

sql

考察
リンク
重複しているレコードを検索するSQL(大量データも対応) - Qiita
たまにしかやらないけど、毎回やり方を調べている気がするので備忘録としてメモ。 DISTINCTを使って重複した行をまとめることはできるけど、逆はできないので、強引に対応する。列Aが重複しているデータを取得
snjx 2021/10/04
検索

sql

データ

mysql

DB

技術
リンク
MySQL 8.0 への移行が完了しました～さようなら全ての MySQL 5.7～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームの飯塚です。私たちは cybozu.com 本番環境の MySQL を昨年末から順次 8.0 系へアップグレードしており、前回の定期メンテナンスにおいて全てのインスタンスのアップグレードを完了しました。この記事では、私たちが MySQL 8.0 への移行に取り組んだ理由と必要になった対応について紹介します。なぜ MySQL 8.0 へ移行したのか GTID-based レプリケーションにおける制限の緩和再起動時に AUTO_INCREMENT のカウンタが巻き戻る問題の解消実際に対応が必要だった MySQL 8.0 の変更点 utf8mb4 の照合順序のデフォルト値の変更 SQL_CALC_FOUND_ROWS と FOUND_ROWS() が deprecated に Connector/J のメタデータ取得処理の性能低下 sys.innodb_lo
snjx 2021/05/24
mysql

技術

sql

考察

開発環境

環境構築
リンク
高速処理化！MySQLのパーティショニング機能を使ってみよう | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
みなさん、最近人生のパーティショニングしてますか？こんにちは、勝利です。今回はMySQLのパーティショニングについて紹介させていただきます。 MySQLのパーティショニングとは？ MySQL5.1ぐらいから使えるようになった、1つのテーブルを分割する機能。テーブルを分割するので、格納できる根本的な容量の拡張や、やり方(Plunning)によっては高速処理を実現できます。分割した際のデータ振り分け方法としては大体以下のような形があります。 RANGE　・・・　パーティションごとに範囲を指定して振り分ける LIST　・・・　パーティションごとに格納する値で振り分ける HASH　・・・　1つのカラムの値を式の結果で振り分ける KEY　・・・　1つ以上のカラムの値をMD5関数等で評価して分割する使用するメリットとしては下記2点のようなことが考えられます。メリット1　[高速化が見込める]
snjx 2021/03/11
db

nysql

技術

sql

設計

パーティショニング
リンク
SQLアンチパターンon Rails Ⅰ部（論理設計） - Qiita
はじめに SQLアンチパターンをRailsの文脈で読み解いていきます。この記事では、Ⅰ部データベース論理設計のアンチパターン︵1~8章︶を取り上げます。リンク SQLアンチパターンonRails Ⅱ部︵物理設計︶ SQLアンチパターンonRails Ⅲ部︵クエリ︶ SQLアンチパターンonRails Ⅳ部︵アプリケーション開発︶本文 1. ジェイウォーク︵信号無視︶ class CreateProducts < ActiveRecord::Migration[5.1] def change create_table :products do |t| t.string :name, null: false t.string :account_ids end end end
snjx 2021/03/08
“SQLアンチパターンon Rails Ⅰ部（論理設計）”

rails

技術

設計

sql

考察
リンク
MySQLで全テーブルのレコード数を一覧表示する - Qiita
mysql> select table_name, table_rows from information_schema.TABLES where table_schema = 'DB名'; mysql> select table_name, table_rows from information_schema.TABLES where table_schema = 'zabbix'; +----------------------------+------------+ | table_name | table_rows | +----------------------------+------------+ | acknowledges | 15 | | actions | 33 | | alerts | 4104 | | application_discovery | 0 | |
snjx 2021/03/03
“select table_name, table_rows from information_schema.TABLES where table_schema = 'DB名';”

mysql

db

sql

技術
リンク
1 2 3 4 5 6 7 次のページ