[B! DB][db] indicationのブックマーク

リレーショナル・データベースの世界

序文私の仕事は、DB エンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。﹁Web系は花形、データベースは日陰﹂という言葉も囁かれていました。今でも囁かれているかもしれません。ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。今でこそバイブルと仰ぐ﹃プログラマのためのSQL 第2版﹄も新入社員には敷居が高すぎました (2015年2月追記‥その後、自分で第4版を訳出できたのだから、人生は何があるか分からないものです)。そこで、です。このサイトの目的は、データベースの世界に足を踏み

indication 2024/02/29

DB
資料

リンク

AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO

こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！私は今回、﹁AuroraかRDSどちらを選ぶべきか﹂というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。ゴール AuroraとRDSの違いを理解して、適切に使い分けることができるようになるもくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは皆さんご存知かと思いますが、RDSはAmazon Relational Da

indication 2024/02/04

リンク

モデリングはキラキラ技術より地味だが役に立つ / modeling-over-shiny-tech

# Event データモデリングとデータ基盤の構築・運用（第14回ちゅらコラボ）CARTA HOLDINGS x ちゅらデータ合同イベント https://churadata.connpass.com/event/254417/ ぼくのかんがえる最高のレポーティング基盤 https://speakerdeck.com/pei0804/hokufalsekankaeruzui-gao-falserehoteinkuji-pan-at-awsdeshi-jian-analytics-modernization ディメンションモデリングモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ https://zenn.dev/pei0804/articles/star-schema-design コンフォ

indication 2022/08/21

文脈からモデリング

リンク

27. 論理削除とは何か？どのような解法があるのか？ w/ twada | fukabori.fm

話したネタ論理削除とはそもそも何か？物理削除とは？なぜ、論理削除が生まれてくるのか？ SQLアンチパターン幻の第26章「とりあえず削除フラグ」理由1: 心理的なハードルの高さ、怖さがある理由2: 削除したデータを検索対象に入れたい場合がある理由3: ログとしての用途理由4: 誤操作をすぐに戻したいアンチパターンとは何か？なぜ、論理削除はアンチパターンとして捉えられるのか？全てのSQL文のWHERE句に削除フラグが必ず入る LIMIT 1などが蔓延していく論理削除に気づくきっかけは何か？テーブル設計や、規約から気づく論理削除というアンチパターンをどのように解いていくか？論理削除という概念は世の中にまずなく、お客様は論理削除という言葉を使っていない要件をどのように設計すればいいのか？ ORMの論理削除プラグインはあまり良くない状態遷移として捉える方法 Soft

indication 2020/03/02

設計
DB

リンク

クレジットカード情報盗み出しの手口をまとめた | 徳丸浩の日記

はじめに先日の日記﹁ECサイトからクレジットカード情報を盗み出す新たな手口﹂は多くの方に読んでいただき、ありがとうございました。この記事では、﹁新たな手口﹂ではなく、従来からある手口についてまとめてみました。 1.SQLインジェクション古典的な手法としてはSQLインジェクションがあります。下図のように、SQLインジェクション攻撃により、DBに保存されたクレジットカード情報を盗み出します。攻撃が成立する条件は下記のとおりです。 DBにクレジットカード情報が保存されているウェブサイトにSQLインジェクション脆弱性があるいずれも、現在の観点では論外の状況と言えますのでさすがに頻度は減っています。今年6月1日から施行されたカード情報非保持化により、今後はほとんど見られなくなると予想されます。過去の代表的な事例には以下があります。エクスコムグローバル、SQLインジェクションで約11万件の

indication 2019/05/29

sameoriginとかでも難しいのかな。セキュリティコードを別のページで入力させても同じなのかな。海外はどうなんだろ

リンク

正しいデータは正しい設計に宿る - そーだいなるらくがき帳

って話をbuilderscon 2018でします。 builderscon.io 当日利用する資料はこちら。 speakerdeck.com 私のセッションはbuildersconの最終セッション。皆さん素晴らしいセッションが並ぶ中で選択肢に迷ってる方も居ると思います。だから先に公開しておきますのでこれをご覧になって、他のセッションに行くというのも有りだと思います。あと事前に去年のトークを見てくれると当日はより理解が深まると思います。同じ話を2回しても皆さんにとって勿体無いのでリファクタリングの細かい前提の話は当日はしません。 soudai.hatena blog.com 動画はこちら。 www.youtube.com これを見て、面白そうだなって思ったらぜひ、遊びに来てください。僕が知ってるRDB設計、そしてRDBの歩み方を全てお伝えします。あなたの新しい道の一歩目をご用意しま

indication 2018/09/02

DB
設計

リンク

Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー

indication 2017/12/15

なぜ6重なんだろう。これの排他判断とかどうするのだろう。ここまで多重化のヒントがあるのに仕様がまったくひらめかないほどすごいことなのだろう。

リンク

PostgreSQLとMySQL、使うならどっち？データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）

PostgreSQLとMySQL、使うならどっち？データベース専門家が8つの視点で徹底比較！オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？それぞれの専門家による対談で明らかにします。エンジニアとして働いていると必ず直面する悩み。それは、﹁どのリレーショナル・データベース︵以下、RDB︶を選ぶのが最善なのか？﹂です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。では、両者は具体的にどのような長所・短所があるのでしょうか。そ

indication 2017/09/06

DDLのトランザクションについては触れないのね...開発者視点からのレビュー。運用管理だとどっちになるんだろ。レプリケーション関連でバトルになりそう(バージョンによる)

リンク

なぜ「システムが無事に動いている」ことの価値は理解されないのか

最近はあまり技術的な仕事をしていないんですが、実は私は元々DB エンジニアです。OがつくDBとか、PがつくDBとか、mがつくDBとかをいじくって、クエリを書いたり、テーブルの設計をしたり、パフォーマンスのボトルネックをあれこれ調べて解消したり、INDEXヒントを総とっかえして頑迷なオプティマイザをぶん殴ったりすることが主なお仕事でした。今でもたまーにそういうことをします。同業の方であればお分かりかと思うんですが、DBのパフォーマンスは凄く唐突に、かつ多くの場合極端に落ちます。そして、DBのパフォーマンスが落ちると物凄く広範囲に影響が及びます。アプリケーションサーバ、重くなります。クライアント、ろくに動かなくなります。お客様、切れます。カスタマーサポートにはわんさか電話がかかってきます。ただ﹁遅くなる﹂だけでも十分に影響は甚大なのですが、それ以上のトラブルが発生するとまあエラいこっちゃ

indication 2017/02/09

政治もインフラなんだよね…

リンク

PHPerに知ってほしいRDBな事

PHPカンファレンス2016＠北海道の資料です http://phpcon.sapporo-php.net/2016/

indication 2016/04/17

window関数便利って、mysqlを（以下略）

リンク

MySQLではできないことができるデータベース(広義)達

自分は一応暫くMySQLの開発者だったので、MySQLでできることできないことはすぐわかる訳です。現実的な問題と対峙すること1年間、MySQLは使えることにしか使わないわけで、そうすると構築してしまうと、アラートメールが全く来ないので、水や空気のように存在を忘れてしまいます。でも、使えないことには全く使う気がしないわけで…。というわけでMySQLは結局逆にあまり触れていません。限られた範囲では完成を見ているというわけでしょうか。データを処理して何か貯めて利用できるものをデータベースとするならば、MySQLを適用する気も起きないような領域があって、近年はそのような領域に挑む別の道具が出てきています。今回は趣向を変えて、いろいろ現状MySQLでは扱えない問題の解決法を模索したことについて少し触れます。MySQLを離れた話題ですが、いつか遠い未来にMySQLの世界に持って帰る事柄かも知れませ

indication 2016/03/14

てっきり、poatgresqlのことだろうと思ったが、そもそも違ってた

リンク

SQL上級者こそ知って欲しい、なぜO/Rマッパーが重要か？

(PgDay2012発表資料) SQLにとって、なぜO/Rマッパーが重要かを説明した資料です。Read less

indication 2015/12/23

ActiveRecordのように洗練されたORMはいいが、追従できていないものについては極端に不便となり、作りたくもないViewが増える(temp view)。ORM選定の問題だろうけど、いろいろ考えさせられてる。(複数テーブルのjoinとかで詰む) ●DB ●orm ●sql

リンク

他システムとのデータベース連携について - Qiita

システムエンジニア Advent Calendar 2015 - Qiita 20日目の記事です。システム開発をしていると、他システムのマスタやトランザクションデータが必要となる場合がよくありますね。システム間のデータ連携としては、リソース共有︵データベース共有、ディスク共有︶アプリケーション連携︵RPC、Web API、MOM1︶ファイル連携(CSV連携、etc) などの方法がありますが、ここではデータベース共有を実現するためのデータベース連携方式について考えてみたいと思います。データベース連携方式について既存システムがレガシーであったり、違うベンダーが構築したサーバーであるなどの理由で、新機能や拡張機能を別のサーバー上で新システムとして構築する場合があります。もちろん、データベースも新たに用意する場合が多いのですが、その場合は既存システムには極力修正をいれない方針でデータ

indication 2015/12/22

この連携を組み上げた後のことについてもう少し知りたい。再連携の仕組みとか、過去ログの扱いとか

リンク

論理削除 Casual Talks #1 で「論理削除しない」という話をしました - moroのブログ

互いの前職での先輩後輩である @kenchan と企画した論理削除 Casual Talks #1で、「論理削除しない」という話をしてきました。話す内容が各話者で面白いほどかぶっていたのでなかなか大変でしたが、普段から言っている「論理削除するな」「削除じゃないからちゃんと機能を設計しましょう」という内容を話してきました。他の方の話も、かぶっているようで新しい視点もあって、いち参加者としてもたいへん勉強になりました。

indication 2015/09/01

辞書にそろそろ乗っても良いのではないかという四字熟語、論理削除。

リンク

SQLアンチパターン幻の第26章「とりあえず削除フラグ」

SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902Read less

indication 2015/09/01

とりあえず削除フラグは思考停止…某業務システムに言ってあげたい

リンク

RDBにおけるキャッシュという考え方

RDBの専門家として日々活動している中で気づいたことのひとつに、﹁RDBはデータへのアクセスの実装をインデックスに頼っているが、インデックスは全ての問題を解決できるほど万能ではない﹂ということがある。インデックスというのはとても強力な部品であり、その点には全く異論はない。だが、世の中の全ての問題︵クエリ︶を解決できるほど、柔軟性に富んだものではないということだ。RDBは、どのインデックスを使ってデータへアクセスするかということを、オプティマイザを用いて判断する。大抵のRDB製品では、オプティマイザはよい仕事をするので、インデックスとオプティマイザの組み合わせによって、ほとんどの問題に対応できる。だが、100%ではないのであり、そのようなケースがシステムの性能問題を引き起こしたり、プログラマ︵アプリケーションの設計者︶に、NoSQLへ完全に移行したり、クエリ高速化のために非正規化をすると言っ

indication 2015/06/17

インデックスは禁書目録ではなく単なる部品(とは一切書いてない)。正規化をやめるまえにクエリをよく見ないと間違った方向に進みかねない

リンク

論理削除が云々について - mike-neckのブログ

今日朝イチで見たエントリーがこれでした。qiita.com 論理削除の弊害は色々なところで言われているけど、僕の足りない頭で理解している所によると、二つの値しか持たない削除フラグ的なものはカーディナリティが云々で検索条件につけても性能上的にもよくないし、意味がないということです。論理削除を完全に悪だとは言いませんが、論理削除を極力排したい人たちは、基本的にデータそのものを削除する、もしくは論理削除というのはまだ要件的に未確定な要素が隠されていることを示すフラグであると考えているようです。僕がITの業界でキャリアをスタートしてから2年目くらいに配置されたプロジェクトではT字型ER手法というのをベースにしたテーブル設計をしていて、そこでかなり鍛えられたわけですが、その時にはだいたいこのような原則を叩きこまれました。テーブルに状態を持たせない究極には機械が認識するキーと、人間にとって意

indication 2015/03/25

null三原則はテストに出そう

DB
データ

リンク

技術選択とアーキテクトの役割

特定のプロジェクトがあり、要件定義をし概要設計をする。それがアーキテクトの仕事だと思われがちですが、大きな視点を持ち様々な課題を自らリードして解決していく立場としても絶好のポジションです。このセッションでは、Mobage オープンプラットフォームの立ち上げから、グローバルプラットフォーム展開、さらには mixi 社との共同プラットフォーム構築、 JavaScript SDK と認証技術の組み合わせによる新しい HTML5プラットフォーム構築をアーキテクトという立場でリードし続けた立場から、技術選択のみならず実現したい事に対する俯瞰的な捉え方を、これまでの実例と共に紹介し、アーキテクトという役割について、お話します。Read less

indication 2015/02/21

リンク

PostgreSQLカンファレンス2014に登壇してきた。

PostgreSQLカンファレンス2014に登壇してきたので資料をアップします。今回は初カンファレンス参加でしたが日曜から39℃を超える熱を出して死にそうになり、なんとか体調を取り戻して朝からスタッフ業をし、英語がぜんぜん出来ないのに控室では英語飛び交い、セッションを二本こなし、当日いきなり懇親会の司会業引き継ぎをされるというなかなかセクシーなスケジュールでした。更にPostgreSQL　アドベントカレンダーの担当日でそれはとっても嬉しいなって… 自分で切ったスケジュールながら過密で濃厚な一日を過ごすことが出来ました。カンファレンスとしてはどのセッションも盛況でしたね。特にハンズオンやチュートリアルのような初心者〜中級者のコマは立ち見が出るほどの大盛況でした。︵30人ぐらいの部屋に80人が押し寄せるようなセッションもありました︶私としてもガッツリDB エンジニア向けの

indication 2014/12/10

データはいつまでも残る

リンク

Rails 複数DB Casual Talks #mdb_casual

自分のために生きる @ryopeko Rails複数DB casual talksいよいよ来週月曜開催ですよー！参加予定の人は今一度予定を確認して行けなさそうならキャンセルお願いしますー！あとキャンセル待ちの人は繰り上がってないか確認してくだされー connpass.com/event/9560/ #mdb_casual

indication 2014/11/11

この手の話題って案外需要あるのか。構想してみたけど、疲れ果てた記憶が...

rails
DB

リンク

はてなブックマーク

タグ

関連タグで絞り込む (53)

DBとdbに関するindicationのブックマーク (48)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス