[B! db] jazzanovaのブックマーク

2020年現在のNewSQLについて - Qiita

Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成当記事は前編でNewSQLの概要編となる。全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海

jazzanova 2020/02/28

NewSQL
db

リンク

ERDをPlantUML形式で自動生成するツールを作った - くりにっき

PlantUML + ERDでPlantERDです github.com モチベーション PlantERDの特徴使い方出力するテーブル数の制限について技術的に頑張ったことテストのこと Foreign keyで隣接している別のテーブルを探す方法複数DB対応のつらみ追記：2019/12/13 9:45 モチベーション既存プロダクトへの不満が一番大きいです。 https://github.com/voormedia/rails-erd は出力が画像なので取り回ししづらいそもそもRails前提なので他言語とかでは使えない https://github.com/schemaspy/schemaspy も悪くなさそうなんだけどここまでリッチじゃなくていいテーブル数個の小規模アプリならいいんだけど、中規模以上のアプリで使うと人間が読むに耐えないERDが生成されて精神が崩壊する僕は初め

jazzanova 2019/12/13

db

リンク

履歴を持つデータの設計

酔いどれ設計ナイト2019の発表資料です。

jazzanova 2019/04/14

db
設計

リンク

フレームワークは素晴らしいけど抽象化した箇所は忘れないでねって話をします - そーだいなるらくがき帳

Laravelカンファレンスでの登壇資料です。 conference2019.laravel.jp ガッツリ、データベースの話とかPerformanceの話でロックとか内部構造の話してもいいかなって思ったけどLaravelのカンファレンスなので表題の事をテーマに資料を作りました。この辺の話は知ってる人からすると知ってる話なので先に資料を見てから話を聴くSession決めるのがオススメです。内容自体はフレームワークを使ってたらハマりがちなRDBMSのボトルネックについてざっくりまとめました。30分で話するにはテーマが大きいのでこのセッションで気になることとか、その他知りたいことがあれば当日気軽にご質問ください。 Ask the Speakerでも良いし、ロビーで普通に話掛けていただいてもいいし、Twitterでも構いません。 JOINのアルゴリズムは id:ikkitang1211 の

jazzanova 2019/02/17

リンク

Webアプリケーションが今こそ知るべき、 RDBMSのパフォーマンスチューニングの勘所 / Basic-of-RDB

Laravel JP Conference 2019の登壇資料です https://conference2019.laravel.jp/ ■資料内リンク - https://www.amazon.co.jp/exec/obidos/ASIN/4297104083/maple036-22/ - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://sql-performance-explained.jp/ - http://soudai1025.blogspot.com/2016/11/rdbantipattern1.html - https://twitter.com/ikkitang/status/1092046172200390656 - https://twitter.com/ikkitang/status

jazzanova 2019/02/12

db

リンク

つらくないマルチテナンシーを求めて: 全て見せます！ SmartHR データベース移行プロジェクトの裏側 / builderscon 2018

jazzanova 2018/09/10

リンク

ユーザ情報を保存する時のテーブル設計 - そーだいなるらくがき帳

はじめに ※この発言は個人の見解であり、所属する組織の公式見解ではありません用法用量を守り、個人の責任で業務に投入してください参考資料 2024/02/14追記実際のテーブル設計の詳細はこちらを参考にどうぞ。 agilejourney.uzabase.com 要件 User情報を保存するときにどのようなテーブル設計を行うか今北産業で頼むテーブルに状態を持たせず状態毎のテーブルを作る状態が変わればレコードを消して別のtableに作るtableの普遍的な情報は別に持たせる僕の考えた最強のDB設計PostgreSQLをベースの雑なER図を作った。これを元に話を進める。table構成 users 親tableであり、すべてのユーザはここに属する。基本はINSERTのみでUPDATE、DELETEを考慮しない。 user_detail userに付随する詳細の情報がここに登録

jazzanova 2018/05/02

db
設計

リンク

SmartHR が定期メンテナンスを始めた理由とやめる理由 - SmartHR Tech Blog

SmartHR のソフトウェアエンジニアぷりんたいです。SmartHR には2017年2月に入社しました。この記事は SmartHR 長時間のサービス停止を伴うシステムメンテナンスのお知らせによせて書かれたものです。ご挨拶 SmartHR では、昨年の6月より週2日という頻度で夜間のサービス停止を行ってきました。まずは、この運用形態を選択したことによりご利用中のお客様にはご不便をおかけしたことをお詫び申し上げます。今日のクラウドサービスでは、無停止運用が当たり前といった風潮もありますが、なぜ SmartHR が停止メンテナンス運用を選択したのか、今後のサービス提供においてどのようなことを重視していくのかを技術者としての立場からご説明させて頂きます。 SmartHR の開発初期とマルチテナント問題 SmartHR は2015年2月に開発が始まり、同年11月にサービスインしました。

jazzanova 2018/04/06

リンク

SQL アンチパターン（Bill Karwin,和田卓人,和田省二,児島修オライリージャパン） - サポンテ勉強ノート

SQLアンチパターン作者:Bill KarwinオライリージャパンAmazon 免責この本を読んだことがない人が、このノートから本の内容を脳内に展開することはできません。見出し部分は Amazon などで﹁目次﹂の内容として公開されている範囲にとどまります。この本を買うかどうか悩んでいる人は是非購入しましょう。これは価値のある本です。本の紹介 SQL つまり RDBMS を使ったアプリケーション開発や運用の中で遭遇する﹁アンチパターン﹂についてまとめられている本です。出版年を見ると歴史が古いことがわかりますが、Amazon で見ると最近も非常に人気があるロングセラーであることがわかります。読んでみると、それは確かに納得のいくものでした。アンチパターン、つまり﹁やらない方がよい手法﹂を集めたものですが＿＿多くの人が共感してくれると思いますが＿＿よくやってしまう手法でもありました。な

jazzanova 2017/07/27

db

リンク

Webエンジニアに知ってほしいRDBアンチパターン

YAPC::Kansaiの登壇資料です。

jazzanova 2017/03/05

db

リンク

DBのint枯渇を目の前にした僕らは - Qiita

MySQLのint型は符号付きで　-2147483647〜2147483647 の範囲をサポートし、レコードを記録する際にこの範囲を超えて記録しようとするともちろんエラーとなります。これは、長い運用の末にデータが膨大になり、ついにintのサポート範囲が枯渇寸前となった話です。方針 DBはAWS Auroraを使用しており、アプリケーションはRailsで構築されています。RailsのMigrationはデフォルトでidカラムをAUTO INCREMENTのint型で作成します1。サービスの特徴としては他のサービスと比較すると高トラフィックに晒されるもので、DBに大量のログを記録する必要がありテーブルによっては1ヶ月で1億レコード以上記録されるものもあります。対処方法を検討し始めた時にはidは既に18億を超えており、やるべきことは対象のテーブルのidカラム、及びそのidを関連として保持して

jazzanova 2017/03/02

db
aws

リンク

アーキ部：テーブル設計をやってみよう！ - そこに仁義はあるのか(仮)

毎週金曜の定時後に弊社でアーキ部なるものが開催されています(✌'ω' ✌) スピードラーニング的に@kawasimaさんのお話を聞く会ですが、今週はテーブル設計がテーマでした！この記事がすごく良かったので、触発されてブログ書く！！！ developer.hatenastaff.com お題 ↓のお題が出て、テーブル設計を考えてみるはなし。要求仕様は以下のとおり。・宿の部屋は、シングルやツインのような部屋タイプが設定できます。・宿側で宿泊プランを設定できます。宿泊プランは適用される日付が設定できます。・プランには複数の部屋タイプが含まれることがあります。・宿側でプラン・部屋タイプ・宿泊日ごとに宿泊費の設定ができます。・カスタマはプラン・部屋タイプ・宿泊日を指定して宿泊予約ができます。・予約は会員でも非会員でも可能です。・また、会員・非会員に関わらず、宿をお気に入りに登録でき

jazzanova 2016/09/05

db

リンク

［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014

﹇速報﹈Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014 Amazonクラウドを提供するAmazon Web Servicesは、同社の年次イベント﹁AWS re:Invent﹂を米ラスベガスで開催しています。初日の基調講演では、クラウドがエンタープライズITにおけるニューノーマル︵新しい普通︶であることを強調。新サービスとして、MySQL互換でありつつ商用リレーショナルデータベース並の性能と機能を実現したという﹁Amazon Aurora﹂を発表しました。 MySQLとフル互換でありながら5倍の性能 Amazon Web Servicesシニアバイスプレジデント Andy Jassy氏。既存のリレーショナルデータベースというのは高価で、プロプライエタリで

jazzanova 2014/11/13

リンク

『アメーバピグにおけるDB構成&対応記』

2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな

jazzanova 2014/05/22

db

リンク

削除フラグのはなし

Query Optimization with MySQL 5.7 and MariaDB 10: Even newer tricksJaime Crespo

jazzanova 2011/08/10

db

リンク

DBサーバ向けLinuxチューニングを考える〜メモリオーバーコミット編 : DSAS開発者の部屋

Cでプログラムを書いていて大量のメモリを確保したくなったとき、大抵は mallocを使うと思いますが、その際には戻り値がNULLかどうかを判断してエラー処理に飛ばすと思います。しかし、Linux のメモリ管理サブシステムには「メモリ・オーバーコミット」という機構があり、実装されているメモリ以上の領域を確保できてしまいます。 #include <stdio.h> #include <stdlib.h> int main() { int i; char *p; for(i=0;i<65536;i++){ p = (char *)malloc(65536); if(0 == (long)p){ break; } } printf("SIZE=%dMB\n",i*65536/1024/1024); return(0); } swapoff したメモリ 1G のマシンでこれを実行するとこんな感じにな

jazzanova 2011/03/02

リンク

非リレーショナルデータベースを選ぶ（私達がMySQLからMongoDBへ移行した理由） | taro-nishinoの日記 | スラド

先日のYuval Kogman氏のエッセイ″Why I don't use CouchDB″の私家版和訳︵私は略して私訳と呼んでいます︶が私の周辺のCouchDBファンに冷や水を浴びせたようです。どうも誤解もあるようで、Yuval Kogman氏は頭からCouchDBを否定しているのではないのです。氏のような一流のPerler︵いや、Perlerでなくても︶は野心的である反面、非常に現実的です。ですから、現時点においてはCouchDBがかなりスピード面で劣るのであるから、それを補って余りある野心的な︵現にロードマップに載せていますよね︶フィーチャーを早く見せなさいと、氏は言っているのです。これは叱咤激励でもあると思います。私はたまたまMongoDBを選びましたが、夢を持ちたい人はCouchDBを選べばいいし、もっと現実路線の人は他のNoSQLデータベースを選べばいいのです。そんなことよ

jazzanova 2009/11/25

db

リンク

BPStudy#25 「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」 - サイト更新停滞ちうっ

BPStudy#25、データベースの話ということで、最近︵えせ︶データベース屋になりつつあった私、小見、さっそく行って参りました。 2009年9月25日 BPStudy#25 パフォーマンスとスケーラビリティのためのデータベースアーキテクチャbyサイボウズ・ラボ奥一穂氏 Kazuho@Cybozu Labs http://atnd.org/events/1484 話は、 1. いくつかの資料で、前提となる知識を入れる 2. デモ 3. まとめの話という流れでした。下記は、その内容まとめ、小さな文字は、自分の感想、もしくは注釈です。無い頭を使って、必死に解釈したよ。 Happy Optimization 良い最適化のやり方について。プロファイラを使おう、最適化作業の投資効果を考えて作業しよう﹁30%速くなったよ﹂は駄目で、﹁理論上の最速値の70%に到達﹂は良い。事前に最

jazzanova 2009/11/16

db
optimize

リンク

Webアプリをとりまく最近のKVS事情、雑感 - Tous Les Jours 攻防記

RDBの復権はしばらくないと思う最近目にしたのは、﹁これからRDBが十分速くなっていくので、memcachedに代わってRDBがまた使われるようになる﹂という意見。これはしばらくの間は無いんじゃないかと思う。全データがオンメモリだったとしても、KVSはRDBより一桁以上速い︵Memcachedで100,000req/sec出せるマシンで、MySQLのpkeyによる単純なSELECTをした場合、10,000req/sec出るかどうか︶。SQLパーサやらなんやらを捨てない限りこの速さには対抗できない。RDBには、1コネクション1スレッドというモデルが持つ、接続数がスケールしないという制約もある。また、memcacheプロトコルは、get_multiが使える。get_multiを効果的に活用した場合、RDBとの差はさらに広がると思う。 RDBで大丈夫なアプリも Viewキャッシュが効果的なア

jazzanova 2009/11/15

kvs
db

リンク

HTML5 Web Database向けのO/R Mapper「AlexRecord」を書いてみました。 - IT-Walker on hatena

詳しいドキュメントとダウンロードはこちらから。オンラインデモはこちらから（要WebDatabase・・・つまりSafari4で見てください） AlexRecordってプロダクトをリリースしました。 HTML5 Web DatabaseをベースとしたO/R Mappingフレームワークです。コーディングに要した作業時間は1.5日くらいなんで、テストは甘甘で、ソースは汚いです。。が、一応いろいろできるようにはしてあります。テーブルの作成／削除レコードの保存／削除 ActiveRecordパターンの実現参照先テーブルもプロパティとして取得できる（現在のところ、one-to-many関連や遅延フェッチには対応してません）クエリの抽象化と流れるようなインターフェースイベントハンドリング AlexRecordを用いると、文字列操作をガリガリ行ってSQLを組み立てる手間が必要なくなり、オ

jazzanova 2009/07/29

html5
db

リンク

はてなブックマーク

タグ

関連タグで絞り込む (70)

dbに関するjazzanovaのブックマーク (87)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス