タグ

関連タグで絞り込む (25)

タグの絞り込みを解除

dbに関するkomlowのブックマーク (47)

  • InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる


    この記事はMySQL Casual Advent Calendar 2013 3日目の記事です。 はじめに 以前にSELECT ... FOR UPDATEとロックの挙動 - walf443'sblogの記事にTwitterで少し言及したんですが、それの補足というか、InnoDBのロックの範囲について僕はこう理解していますよという話です。 MySQLといえば、InnoDBをネットワークサーバとして使うためのフレームワークであり、SQLはInnoDBのインデックスにアクセスするためのDSLといっても過言ではないでしょう。 InnoDBのロックとはつまるところインデックス行のロックなので、InnoDBのロックの範囲を理解するためにInnoDBのインデックスについて少し前置きしておきます(だいぶ端折ったけど長くなった…)。 クラスタインデックスとセカンダリインデックス すでにInnoDBのイン
    InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる
    komlow
    komlow 2021/02/07
    リンク

  • 主要データベースの増え続けるdisk容量の対応事例


    こんにちは、SRE の @masartzです。 今回は最近取り組んだ、メルカリの主要データベースの容量削減のお話をしようと思います。 TL;DR 主要データベースの容量を20%以上削減しました どういう状況だったか？　何をしたか？ メルカリでは2017年11月現在、出品数は1日100万件を超えています。 なので、単純に日々多くのデータが増えていっています。 そのためデータベースのスケーリングは常に検討し、取り組まなければならない課題です。 今回扱ったデータベースはいくつかあるデータベースの中で商品テーブルを持つ、メルカリの主要データベースになります。 増え続けるデータに対応するための、テーブル分割を変則的な形で対応したのでその過程を紹介します。 前提‥データベース分割方法 メルカリのデータベースには 会員情報や商品情報など、基本要素となるデータから、通知やお知らせメッセージなど付加的な機能
    主要データベースの増え続けるdisk容量の対応事例
    komlow
    komlow 2017/11/30
    リンク

  • 関手データモデル／圏論データベース： その後の発展と現状 (2016) - 檜山正幸のキマイラ飼育記 (はてなBlog)


    2013年の初頭に、デイヴィッド・スピヴァックの関手データモデル︵functorial data model︶について紹介しました。 デイヴィッド・スピヴァックはデータベース界の革命児か -- 関手的データモデル 衝撃的なデータベース理論・関手的データモデル 入門 あれから3年3ヶ月が経過して、今、関手データモデルや圏論データベース︵categorical database︶の状況はどうなっているでしょうか。 一言でいえば、 派手に喧伝はされてないが、着実に発展している となるでしょう。その進展の様子を次の3つの側面から概観してみます。 ビジネス ソフトウェア 理論 内容‥ ビジネス‥ Categorical Informatics, Inc ソフトウェア‥ FQL IDE 理論‥ 等式論理と代数データベース ※ リンクと注釈がたくさんあるのは、この記事が、この話題に関する説明付きブックマ
    関手データモデル／圏論データベース： その後の発展と現状 (2016) - 檜山正幸のキマイラ飼育記 (はてなBlog)
    komlow
    komlow 2016/05/11
    リンク

  • Massive Throughput Database Queries with LLVM on GPUs

    This post can also be found on Nvidia's site. At MapD our goal is to build the world’s fastest big data analytics and visualization platform that enables lag-free interactive exploration of multi-billion row datasets. MapD supports standard SQL queries as well as a visualization API that maps OpenGL primitives onto SQL result sets. Although MapD is fast running on x86-64 CPUs, our real advantage s

    Massive Throughput Database Queries with LLVM on GPUs

  • MySQLではできないことができるデータベース(広義)達


    自分は一応暫くMySQLの開発者だったので、MySQLでできることできないことはすぐわかる訳です。現実的な問題と対峙すること1年間、MySQLは使えることにしか使わないわけで、そうすると構築してしまうと、アラートメールが全く来ないので、水や空気のように存在を忘れてしまいます。でも、使えないことには全く使う気がしないわけで…。というわけでMySQLは結局逆にあまり触れていません。限られた範囲では完成を見ているというわけでしょうか。 データを処理して何か貯めて利用できるものをデータベースとするならば、MySQLを適用する気も起きないような領域があって、近年はそのような領域に挑む別の道具が出てきています。 今回は趣向を変えて、いろいろ現状MySQLでは扱えない問題の解決法を模索したことについて少し触れます。MySQLを離れた話題ですが、いつか遠い未来にMySQLの世界に持って帰る事柄かも知れませ
    komlow
    komlow 2016/03/14
    リンク

  • CRDT (Conflict-free Replicated Data Type)を15分で説明してみる - Qiita


    CRDTについて勉強したので纏めてみました。15分くらいでざっとわかったつもりになれる感じで纏めてみたつもりです。 全体スライド Slideshareのスライドが埋め込めなかったので、↓からアクセスしてくださいm(-_-)m 下記はスライドの講演の書き下しのようになっているので、スライドだけ見るんじゃなくて、スライドを見ながら文章を読み進めたい方向けです。 CRDTとは 今回は、CRDTというデータ構造について紹介します。CRDTはそもそも2011年にSSS(Stabilization, Safety, and Security of Distributed Systems)という国際会議で、INRIA(フランス国立情報学自動制御研究所)のMarc Shapiro博士によって発表された、比較的新しいモノです。 CRDTは"Conflict-free Replicated Data Type
    CRDT (Conflict-free Replicated Data Type)を15分で説明してみる - Qiita

  • SQLアンチパターン～ファントムファイル

    分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～（NTTデータ テクノロジーカンファレンス 2020 発表資料）NTT DATA Technology & Innovation

    SQLアンチパターン～ファントムファイル
    komlow
    komlow 2015/12/31
    リンク

  • はてなブックマークにおけるアクセス制御 - 半環構造に基づくモデル化


    はてなブックマークの持つデータには多岐にわたるアクセス制御のための属性があり、一貫した権限確認のしくみが必要となる。できる限り効率的にデータを取得するにはクエリ段階でアクセス制御に基づくフィルタリングが必要となるが、たとえばMySQLで取得した場合とElasticsearchで取得した場合など、複数パスでの整合性も求められる。本発表では、半環構造を用いることで整合性を担保するしくみと、一貫性を保つためのScalaでの実装上の工夫を紹介する。 WebDB Forum 2015 C-4: 技術報告セッション http://db-event.jpn.org/webdbf2015/Read less
    はてなブックマークにおけるアクセス制御 - 半環構造に基づくモデル化

  • 外部キー制約に伴うロックの小話

    PostgreSQLのロール管理とその注意点（Open Source Conference 2022 Online/Osaka 発表資料）

    外部キー制約に伴うロックの小話

  • 我々(主語が大きい)は何故MySQLで外部キーを使わないのか

    外部キー便利!!! MackerelではPostgreSQLで外部キーあり そのレコードがあることが保証される 各テーブルのidにアプリケーションレベル(Mackerelの場合Scala)で型付けをするとなお便利 MemberID型、MonitorID型 → idで誤ったテーブルを引くとかがない 本日のスキーマ CREATE TABLE `member` ( `id` INTEGER unsigned NOT NULL auto_increment, `earned_item_count` INTEGER unsigned NOT NULL DEFAULT 0, `name` VARCHAR(191) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARACTER SET utf8mb4; CREATE TABLE `item`

  • リレーショナルデータベースの仕組み (1/3) | POSTD


    リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば﹁リレーショナルデータベース 仕組み﹂などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術︵ビッグデータ、NoSQL、JavaScriptなど︶を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
    リレーショナルデータベースの仕組み (1/3) | POSTD

  • MySQL・PostgreSQLユーザーグループ（MyNA・JPUG）合同DB勉強会で発表した資料を公開しました。「データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜」


    表題の通り、MyNAとJPUGの合同DB勉強会で発表をしたので資料を公開した。 内容の詳細はスライドそのものを見ていただくとして、言いたいことの主旨はこうである。世の中に完璧なデータモデルはないので、NoSQLは当然の如く必要になる。だが、何でもかんでもNoSQLを使えば良いというものではない。むしろアプリケーションが必要としているデータモデルが何かということをよく理解し、本当に必要な場合にこそ、NoSQLを使うべきなのである。つまり﹁ご利用は計画的に！﹂ということだ。 大切なのは、様々なデータモデルを理解し、アプリケーションにとってベストな製品を選択するということだ。ベストなのがRDBかも知れないし、そうでないかも知れない。最適なデータモデルを選択した場合に、出来上がったものの性能も最高になるし、開発効率も最も良くなる。データベースの主流はRDBだが、それはリレーショナルモデルがカバーで
    MySQL・PostgreSQLユーザーグループ（MyNA・JPUG）合同DB勉強会で発表した資料を公開しました。「データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜」
    komlow
    komlow 2015/06/29
    リンク

  • Feral Concurrency Control: An Empirical Investigation of Modern Application Integrity

    Feral Concurrency Control: An Empirical Investigation of Modern Application Integrity Peter Bailis, Alan Fekete†, Michael J. Franklin, Ali Ghodsi, Joseph M. Hellerstein, Ion Stoica UC Berkeley and †University of Sydney ABSTRACT The rise of data-intensive “Web 2.0” Internet services has led to a range of popular new programming frameworks that collectively embody the latest incarnation of the visio

  • DBの基礎 - コネクションプーリングについて


    コネクションプーリングについて、わかっていないことが多すぎたので、ちょっとだけ調べたことをメモで残しておきます。 今はまだ触りレベルしかわかっていなのいので、もう少しちゃんと分かるようになりたい！ 😀 [スライド] データベースの羅針盤 コネクションプーリングを調べている過程で偶然見付け足資料 ﹃データベース技術の羅針盤﹄。 とにかくわかりやすくて、俯瞰的にDBの業界を知ることができる資料。すばらしすぎる。 🎂 コネクション・プーリングとは？DBのコネクションを一定数確立しておいて、それを使いまわす手法のこと。 DBへの接続に必要となるオーバーヘッドをカットしてWeb/DBの双方の負荷を下げる。 また、WebとDBの接続を使いまわすことで同時接続数を節約する。 用意した、コネクション数を超えたアクセスは、コネクションに空きがでるまで待たされる。 以下はOracle関連の話ですが、基本は
    DBの基礎 - コネクションプーリングについて

  • 現場指向のレプリケーション詳説


    この文書は、技術評論社刊﹃WEB+DB PRESS Vol.22﹄に執筆した記事を技術評論社の 許可を得てWWWで公開しているものです。 このWWW版は校正前の原稿を元にしている点、WWW公開後に必要があれば修正する点で、雑誌版の文章とは異なる部分があります。また、図表も雑誌版とは異なります。 予めご了承ください。 また、この文章が対象しているのはMySQL 4.0系なので、最新のリリース版と比べると説明不足な点などが多々あると思います。 レプリケーションの基本をおさえるには、この文書はまだ有益だと思いますが、設定レベルの説明は最新のドキュメントを参照するようにしてください。
    komlow
    komlow 2015/03/29
    リンク

  • 深い親子関係のテーブル設計

    This document discusses using Rails as a backend for front (BFF) layer in a microservices architecture. It describes how Rails was used to build the BFF layer for an e-commerce site called HPB, acting as an API gateway between the client and various backend services. Key points discussed include using Puma to improve throughput, caching APIs to reduce response time, and implementing an API gateway

    深い親子関係のテーブル設計
    komlow
    komlow 2015/02/14
    リンク

  • データベース設計についての、僕の知っていることをちょこっと(2) - mike-neckのブログ


    こんにちわ、みけです。 しょぼちむにデータモデル設計について教えてくださいの会 #syoboben - connpass この勉強会に出られないので、データベース設計のことについて色々と言いたい放題を書くエントリーの2回目です。 本日はn対nのリレーションを作るときに絶対にやることを書きます。 なお、別に大した話ではありません。n対nのリレーションにするなら、リレーションそのものをエンティティにする 前回のエントリーでテーブルにはマスター(リソース)とイベントがある的な話をしたわけですが、実はマスターについて何も語っていませんでした。 で、マスター(リソース)について書きたいところではあるのですが、リソースについて書こうとすると絶対にn対nのエンティティ間の関連が出てきてしまうので、先にn対nの話をしておきたいと思った次第です。n対nの関係の例 ここでは例として、ある個人スポーツのアス
    データベース設計についての、僕の知っていることをちょこっと(2) - mike-neckのブログ
    komlow
    komlow 2015/02/01
    リンク

  • ソーシャルゲームDBの�危機回避

    MySQL Casual Talks vol.7

    ソーシャルゲームDBの�危機回避
    komlow
    komlow 2014/12/13
    リンク

  • AuroraのストレージのQuorum原理 - yoshidashingo


    cloudpackエバンジェリストの吉田真吾︵@yoshidashingo︶です。 今回発表になった Amazon RDS for Aurora。最大の特徴はストレージが従来のRDS(Multi-AZ)における﹁完全同期なミラーディスク型のレプリケーション﹂方式でなく、﹁Quorumベースの非同期レプリケーション﹂方式が採用された点です。 Quorumの概念 Quorum自体の概念の説明はWikiなどを参照してください。ノード間で投票を行い、定足数が揃った処理を実行／破棄するという考え方です。 Quorum - Wikipedia 同期型のミラーディスク型から非同期のQuorum型へ Aurora以外のRDSのMulti-AZ配備は、マスターノードのディスクへの書き込みをブロックレベルでスタンバイ側に適用する完全同期なフィジカルレプリケーションを行っています。これにはいくつかの課題が考えら
    AuroraのストレージのQuorum原理 - yoshidashingo
    komlow
    komlow 2014/11/28
    リンク

  • Mobage を支える Ruby の技術 ~ 複数DB編 ~

    This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur

    Mobage を支える Ruby の技術 ~ 複数DB編 ~
    komlow
    komlow 2014/11/11
    “ ”
    リンク
  • 1 2 3 次のページ

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.