[B! db] ene0kcalのブックマーク

PostgreSQL and UUID as primary key

UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P

ene0kcal 2024/07/07

リンク

検索が爆速になるデータベース設計を公開します

こんにちは。エンジニアの谷井です。フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。フォルシアにおける検索DBについてまず前提としてフォルシアで扱うデータについて軽く説明します。扱うデータの複雑さたとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としてはホテルの情報﹁〇〇ホテル﹂︵~約2万件︶プランの情報﹁朝食付き・ロングステイ△△プラン﹂︵0~1500件/施設︶客室の情報︵~100件/

ene0kcal 2023/04/29

リンク

MySQLのutf8mb4と戦った話 - Uzabase for Engineers

皆様こんにちは、NewsPicks エンジニアの米澤です。先日 2023/03/30は、こちらでアナウンスしていた通り、サービスの停止を伴うシステムメンテナンスを実施させて頂きました。 NewsPicksをご利用頂いている皆様には、ご迷惑おかけいたしました。今回はこのメンテナンスの中で行われたDBテーブルのmigrationについてお話ししたいと思います。ことの始まりやったこと方針決め utf8mb4に対応していないテーブルを調べる migrationを作成する影響範囲を調べる開発環境でリハーサルを行うメンテナンスの日最後にことの始まり NewsPicksではバグの検知にBugSnagを利用しています。ある時、BugSnagにこんなエラーが通知されてきました。 org.springframework.orm.hibernate4.HibernateJdbcExcepti

ene0kcal 2023/04/28

リンク

Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ

この記事はエムスリー Advent Calendar 2022の30日目の記事です。前日は id:kijuky によるチームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作ったでした。 AI・機械学習チームの北川(@kitagry)です。今回はMySQLへのインサートを20倍以上高速化した話について書きます。仕事をちゃんとしてるか見張る猫 TL; DR はじめに今回のテーブルバイナリログを無効化する追試 LOAD DATA INFILE 追試テーブルの正規化インデックスを一時的に剥がすまとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使うインデックスを一時的に消すはじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。そこでは推薦ロ

ene0kcal 2022/12/31

リンク

3値論理

なぜ﹁= NULL﹂ではなく﹁IS NULL﹂と書かなくてはならないのか？これは、気になっている人も多いはずです。まだ SQL に不慣れな頃、ある列が NULL である行を選択しようとして、 SELECT * FROM table_A WHERE　col_1 = NULL; というクエリを書いてしまい、エラーになったり思い通りの結果が得られなかった、という経験は、ほぼ全ての人が持っているでしょう。ちょうどC言語や JAVA を習い始めのころに﹁if (a = 5)﹂と書いてしまう間違いとよく似ています。最初は、言語仕様の汚さにぶつぶつ文句をいいながらも、そのうち﹁IS NULL﹂という書き方に慣れてしまって、疑問を持たなくなります。でもどう考えても奇妙な書き方ですよね。こんな素直でない書き方をしなくてはならないということには、やはりそれなりの理由があるのです。今からその理由を説明しま

ene0kcal 2022/05/22

誰かと思えばミック氏だった。え？！DBで著名な本を書いてらっしゃる人だよね。

db
設計

リンク

★★再追記レンタルサーバは、自由度が低くてストレスになるからやらない..

★★再追記レンタルサーバは、自由度が低くてストレスになるからやらない。SQLでwith使いたいからMySQL8をって言ってもさくらレンタルサーバじゃ無理なんでしょ？あと同居利用者のせいで高負荷ってのも避けたい。そこを気にしない人はレンタルサーバでいいと思うよ。あと LB $0.025/h だった。月2000円くらいか。 ★追記LBは独自ドメイン+自動更新無料SSL証明書のためね。Cloud Storageの無味乾燥なドメインでいいなら、SSL自動かつ無料でほんとに月数円。－－－－－－－もうねめんどくさいんだわ。もちろん以前はそうやってたよ。 PHPだのApacheだのMySQLだのインストールしたり設定ファイル置いたり、脆弱性対応したり、SSL証明書更新したり、一応落ちてないか無料監視サービス使ったり。でも仕事ならともかく、趣味だからこそこんなことやりたくないじゃん。なの

ene0kcal 2022/05/06

結局、ベストプラクティスは前提によるんだよね。でも無数にある組み合わせの中から、無駄の少ない、パフォーマンスが悪くない、有効なパターンを知ることができるのでこういう情報はありがたい。

リンク

よくあるオンプレOracleからRDSに移行したDBAの反省文 - ASMのきもち

この記事は JPOUG Advent Calendar 2021 - Adventar 17日目の記事です。昨日はShinodaさんの﹁Oracle Database からPostgreSQL への接続を試す - Qiita﹂でしたね。いやーOracle Database Gateway for ODBC全然使ったことがなかったので、これはぜひやってみよ…あれ、RDSでできるの？明日AWSサポートに早速連絡してみよう… 最近ブログを書く頻度がアドベントカレンダー以外書く頻度がない感じになってきております…コレハ、マズイ、ゾ！！笑さて弱気な内容はおいておいて…ここ最近、ろくに活動もできなかったのはこれをやっていたからなのです。そうよくある、(꜆꜄•ω•)꜆꜄꜆オンプレOracleからRDSに移行した話。今更感あるのですが、私と同じミスを減らすきっかけになれば。と思い、書いてみます

ene0kcal 2021/12/17

リンク

Home | DBML

Intro DBML (Database Markup Language) is an open-source DSL language designed to define and document database schemas and structures. It is designed to be simple, consistent and highly-readable. It also comes with command-line tool and open-source module to help you convert between DBML and SQL. Table users { id integer username varchar role varchar created_at timestamp } Table posts { id integer

ene0kcal 2020/11/03

リンク

Amazon RDS/Auroraをクローンするシステムを作った話 - クックパッド開発者ブログ

こんにちは、技術部SRグループの菅原です。最近、Ninja650からNinja1000に乗り換えました。パワーがあるせいで3速発進・4速発進が平気でできてしまい、シフトワークがどんどん下手になっています。精進したいものです。この記事では、Amazon RDS/Auroraをクローンするシステムを作った話を書きます。 Amazon RDS/Auroraをクローンするシステムサービス開発を行っていると、調査や検証でプロダクション環境で使われているデータベースが必要になることがあります。開発環境やステージング環境にもデータベースは存在するのですが、プロダクション環境のデータでしか再現しないバグの調査や、プロダクション環境のデータ量でのスキーマ変更の負荷の検証など、開発環境やステージング環境のデータベースではできない作業も多いです。しかし、オペレーションミスや個人情報へのアクセスを考えると、

ene0kcal 2020/08/20

これはイイ。こういうのはホント、ムダなコストだからクローンするスクリプトはみんなの味方。

リンク

100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本心 in せろ部屋

要約技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある

ene0kcal 2020/08/13

﹁みんな大好きStack Overflow﹂なにげによく見るよねStack Overflow。AutoCommitがTrueの場合にOOMEかぁ。Cursor使えないとかFetchSize効かないとかそりゃハマるわ。 ●開発 ●db ●postgresql ●SQL ●java

リンク

Azure Cosmos DB の無料版が出たので相性最高の Azure Functions と合わせて使ってみた - Qiita

無料版が出ましたね！！Publickey さんでも取り上げてもらってます。マイクロソフト、﹁Azure Cosmos DB﹂がずっと無料で使える﹁Free Tier﹂を発表。地球規模の分散データベースを最大5GBまで Cosmos DBとは Azure で一番強いNoSQL DBだと思ってます。色々な DBのモードがあって SQL API Cssandra API Mongo DB APIGremlin API テーブル API etcdAPI の中から選べます。私は SQL API が好きというか基本的に SQL API しか使ったことない感じです。 SQL API は JSON でデータが格納されて SQL で問い合わせ出来る感じです。︵雑な説明︶作ってみよう Azure ポータルから Cosmos DBを作成します。作成するときに﹁Apply Free Tier

ene0kcal 2020/03/12

リンク

イミュータブルデータモデル - kawasima

CRUDのうちUPDATEがもっともシステムを複雑化する。更新には複雑なルールが伴うからだ。業務的に複雑なルールが存在するのは仕方ないこともあるが、システム、設計で複雑さを更に増さないようにしたい。UPDATEに着目し、その発生をできるだけ削ることによって複雑さをおさえるためには、まずデータモデルをそのように設計しておかなけれなならない。このイミュータブルデータモデルは、それを手助けする手法で、手順に沿って実施すればある程度のスキルのバラつきも吸収できるように組み立てられている。

ene0kcal 2020/03/11

保留。あとでよく読む。

設計
db

リンク

クソコード動画「switch文」解説

オブジェクト指向カンファレンス2020での登壇資料です。 https://fortee.jp/object-oriented-conference-2020/proposal/b2dcff77-08af-4561-bcda-fc86e553ccec

ene0kcal 2020/02/16

表をDBテーブルデータに落とし込むとシンプルになる（switch文不要）。チケット種、日付、曜日、時間（帯）、価格が最低限必要なカラムで、価格を抽出する為にそれぞれの抽出条件を渡せば求めることができるよねー。

リンク

RDBとNoSQLにみるDB近現代史データベースに破壊的イノベーションは二度起きるか？ - エンジニアHub｜若手Webエンジニアのキャリアを考える！

﹁ユーザー目線﹂のシステムを目指して RDBが従来の階層型DBに比べて優れていた点はいくつか挙げることができますが、シェアを伸ばすうえで最も大きな影響は、ユーザーが使いやすいデータ構造とインタフェースにこだわったことです。すなわち、﹁テーブル﹂と﹁SQL﹂の発明です。 RDBでは、すべてのデータを﹁テーブル﹂というただ一つのデータ形式によって表現します。テーブルは、見た目が﹁二次元表﹂に似ているため*3、Microsoft ExcelやGoogle ドキュメントなどのスプレッドシートを使い慣れた人が見ると、データを格納する方法が直観的にイメージしやすいという利点があります。実際、こうした二次元表によるデータ管理は、Excelなどのソフトウェアが登場する前から一般的な方法だったため、RDBが登場した当時の人々にとっても受け入れやすいものでした。テーブルが画期的だった点は、もう一つあります。

ene0kcal 2019/09/09

リンク

DBアクセスで遅くなったテストの実行時間を Docker で 40% 削減した方法 - Qiita

DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテスト中のDBのクエリ実行にかかる時間を削減できます。自動テストが完了するまでの待ち時間を短縮し、開発のフィードバックサイクルをより早く回せるようになります！ MariaDB を用いたプロジェクトの実績では、DBアクセスを伴うテストケースが 153件ありましたが、この方法によりそのテストスイートのローカル環境での実行時間を約 43% 削減できました︵約 145.7s → 約 83.3s︶。どうやって？ Docker で tmpfs を使います。 tmpfs tmpfs とは、ディス

ene0kcal 2018/12/19

リンク

はじめに · PostgreSQL Internals

ene0kcal 2018/10/08

リンク

Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー

ene0kcal 2017/12/13

リンク

Rails アプリでオンラインでカラムの削除やリネームを行うには - eagletmt's blog

前提知識 Rails アプリにおいて、テーブルの追加やカラムの追加は簡単なものの、カラムの削除やリネームは慎重に行う必要がある。たとえアプリからそのカラムを参照してないとしても、いきなりカラムを削除するとエラーになる可能性が大いにある。というのも Rails にはスキーマキャッシュというものがあり、テーブルのカラム情報をモデルがキャッシュしているからだ。このキャッシュはたとえばいわゆる N+1 クエリ問題を避けるために includes (eager_load) するときに参照される。 SELECT 句で t0_r0 のような機械的に別名が振られるようなクエリを見たことがある Rails エンジニアは多いと思う。機械的に全カラムを取得するためにスキーマキャッシュを利用しているため、このようなクエリが実行されてる中でカラムを削除したりリネームしたりすると、スキーマキャッシュをもとに並べら

ene0kcal 2017/09/25

ignored_columns

リンク

ネットゲームデータベース設計むかしばなし、あるいはとんでもないMMORPGの設計の話: 不倒城

目次・記事一覧(1) レトロゲーム(185) 日記(772) 雑文(512) 書籍・漫画関連(56) 子育て・子どもたち観察(115) ゲームブック(12) フォルクローレ・ケーナ・演奏関連(86) FF14(40) レトロでもないゲーム(336) 始めたばっか(13) アナログゲームいろいろ(37) 人狼(48) ネットの話やブログ論(61) 三国志大戦(20) 無謀的世評(52) ゴーストライター(16) 大航海時代ONLINE(40) FF3(6) Civ4(18)

ene0kcal 2016/05/30

リンク

ゲームエンジニアのためのデータベース設計

DevLOVE X Day1 C-5のセッションです。 ITの活用範囲の広がりとともに、費用・品質よりもデリバリを優先するプロジェクトも増えてきました。しかし﹁しっかり考えるよりも、作ってリリースしちゃおうぜ、正解なんて誰にも分からないんだから﹂というマントラを唱えながら、返済見込みの立たない大量の技術的負債を抱える。それが最善の選択なのか、もう少しだけ立ち止まって考えてみませんか? YAGNIという言葉を便利に使いすぎてはいませんか?コードを書きなぐるのと、ちょっと考えて設計して作るのとで、そんなに開発スピードに違いがありますか?考えてみたいと思います。 This document discusses messaging queues and platforms. Itbegins with an introduction to messaging queues and their

ene0kcal 2016/05/30

リンク

はてなブックマーク

タグ

関連タグで絞り込む (45)

dbに関するene0kcalのブックマーク (27)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス