[B! db] ikeikeikeikeのブックマーク

ikeikeikeike id:ikeikeikeike

dbに関するikeikeikeikeのブックマーク (71)

C言語でSQLiteのクローンを作るチュートリアルやった - valid,invalid
2019年12月の冬休みに1週間程かけて"Let's Build a Simple Database"という、C言語でSQLiteのクローンを作るチュートリアルをやりました。この存在を教えてくれた同僚に感謝 :pray: cstack.github.io チュートリアルの内容 Richard Feynman先生の“What I cannot create, I do not understand.”という言葉が掲げられているように、データベースを作ることでデータベースをより深く理解することに主眼が置かれているチュートリアルです。これは重要事項説明かつタイトル詐欺に関する謝罪なのですが… 残念ながらこのチュートリアルは完成しておらず、Part 13が2017-11-26に公開されたのを最後に更新が止まってしまっており、以下の13章しかありません。 Part 1 - Introduction
ikeikeikeike 2020/05/11
database

db

sql
リンク
カーネギーメロンのDBに関する講義が面白いのでおすすめ - だいたいよくわからないブログ
ここに書くことによって途中でやめられなくするメソッドです。ハッカーニュースを眺めていたら以下のようなCS系講義動画のまとめリポジトリが流れていました。 GitHub - Developer-Y/cs-video-courses: List of Computer Science courseswith video lectures. へーっと思いながら何個かポチってみたところ以下に出くわしました。 15721.courses.cs.cmu.edu 英語が︵自分にとって︶聞き取りやすく、動画の品質︵画質やスライドがちゃんと見えるかどうかといった部分︶も良いものでかつ興味のある内容で出来ればスライドもおしゃれで・・・となるとなかなか少ないですが、これはかなり見やすいです。スライドも概念図が頻繁に登場したりして、これだけでも聞き取れなかった部分などをかなり補完できます。スケジュールページ
ikeikeikeike 2016/12/12
db

databases

database

architecture

cs
リンク
PostgreSQLに興味がある人向けにまとめてみた。｜PostgreSQL｜お仕事メモ｜Pictnotes
PostgreSQL9.2がでたのと、一部で？またPostgreSQLを使いたいと思ってる人が多くなったとかあるみたいなので4〜5年触ってなかったか、全然知らない人向けとおさらいとしてまとめてみた。ざっくり書いてるので、詳しい人からみるとおかしい点もあるかと思いますが、気になった点はより詳しい記事があると思うので、調べてみてください。明らかな間違え等々は、修正加筆したいので、コメントか twitterの @itm_kiyoまで、御願いします。 Q. なんて読むの？書くの？ A. PostgreSQL(ぽすとぐれすきゅーえる)、PとSQLは大文字。ちなみにMySQL(y以外は大文字)なんで、小文字と大文字の区別をきちんとするとその界隈の人がよろこびます。でも、﹁postgres﹂とか、﹁Postgres﹂や﹁ポスグレ﹂とか書かれてることも多いです。 Q. どのバージョンを使うの
ikeikeikeike 2016/04/16
PostgreSQL

db

database

postgres
リンク
コネクションプールのチューニング - Qiita
TL;DR 負荷の変動が激しい環境でコネクションプールの設定のチューニングをさぼるためによくやるハックを紹介します。問題 Go から https や mysql など外部のリソースにアクセスする場合、一般的にコネクションプールを使うことになります。コネクションプールは、利用が終わった (idle) コネクションをプールしておき、次に使いたい時に再利用するものです。 (idle コネクションのプールを以後 free pool と呼びます。) ほとんどのコネクションプールの実装には、 idle なコネクションの最大数を制限するオプションがあります。また、利用中の (active) コネクションと idle なコネクションを合計した全体を制限するオプションを持つものもあります。例えば net/http パッケージの Transport は MaxIdleConnsPerHost というフ
ikeikeikeike 2015/12/17
go

MySQL

golang

DB

nil
リンク
シンプルで移行しやすいデータベースシャーディング - クックパッド開発者ブログ
技術部の小野(taiki45)です。クックパッドではこれまで様々なデータベースの負荷対策を行ってきましたが、シャーディングは行われていませんでした。しかし先日クックパッドの認可サーバーが利用している MySQL サーバーの負荷分散のためにクックパッドで初めてのシャーディングを行ったので、Rails アプリケーションでのシャーディングの事例のひとつとしてその際の手法をご紹介したいとおもいます。構成 Before データベースは1マスター、1ホットスタンバイ、バッチ用の1リードレプリカで構成されています。Read オペレーションのほとんどはキャッシュ層に逃しています。 After データベースの各ロールにつきそれぞれ1台ずつマシンが増えています。シャーディングが必要になった背景認可サーバーのアクセストークンの作成・削除時のWriteオペレーションが急増し、レコード数自体も急増していて
ikeikeikeike 2015/06/23
database

cookpad

mysql

Rails

db

MySQL

sharding
リンク
エロゲーマーのためのSQL -エロゲーマーのためのSQL-
SQLはデータベースからデータを抽出したりするための言語です。この文書は、ErogameScapeのデータベースからSELECTを使って自由自在にデータを取得できるようになることを目標にします。エロゲーをやりはじめる大学生くらいのときに、大学の講義でデータベースを学んで、退屈だなーと思った時に、ErogameScapeでSQLを学ぶことで、少しでもSQLに興味を持って、自身でデータを加工することを学習して頂けると幸いです。 ※私の大学のリレーショナルデータベースの授業では、自分の身の回りの何かをER図に落とし込んで、DBを設計し、PostgreSQLに実装し、実際にデータを入力してSELECTしてみるところまでをやりました。ER図という概念を学んだとき﹁ああ、これは面白い﹂と思いました。先生はこう言ったのです。﹁ER図に落とし込むと、思いもよらなかったことが分かる。﹂と。当時、
ikeikeikeike 2015/02/07
db

sql

database

データベース

エロゲ

ネタ

ゲーム

programming

設計

tutorial
リンク
PostgreSQL 9.4 GINインデックスの評価、JSONBデータ型の使い方
PostgreSQL 9.4 GINインデックスの評価、JSONBデータ型の使い方‥PostgreSQLガイダンス︵1︶︵2/2 ページ︶バイナリ版JSONデータ型︵JSONB︶の登場PostgreSQLではバージョン9.2からJSONデータ型が使用可能でした。JSONとは、JavaScriptに始まり、いまやさまざまな言語、環境、ツールで場所で使用されているデータ表現形式です。PostgreSQLのJSON型は、基本的にはtext型やvarchar型と同じ文字列データ型で、値を格納するときにJSONとしての構文チェックが行われるようになっています。また、いくつかのJSON処理関数や演算子が用意されています。PostgreSQL 9.4では、いままでのJSON型に加えてJSONBという新たなデータ型が追加されました。JSONBのBはバイナリ︵binary︶のBを表しています。その名
ikeikeikeike 2015/01/29
database

api

DB

postgresql

json

JSONB

atmarkit

software-engineering
リンク
PostgreSQL 9.4 GINインデックスの評価、JSONBデータ型の使い方
PostgreSQL 9.4 GINインデックスの評価、JSONBデータ型の使い方：PostgreSQLガイダンス（1）（1/2 ページ） PostgreSQL 9.4は実務ニーズに即した機能追加が豊富 PostgreSQLは、その名の通りSQL言語で問い合わせをするリレーショナルデータベースマネジメントシステム（RDBMS）です。近年、NoSQLと総称されるスケールアウト拡張の容易さに強みのあるキーバリューストア型のデータベースが注目されていますが、汎用性、データ整合性、データ保全性、蓄積されたデータ設計技法との親和性、などの強みから、システム中核要素としてのリレーショナルデータベースの地位は揺らぎそうにありません。 PostgreSQLは長い歴史を持つオープンソースソフトウェアです。組織立ったコミュニティによって開発とメンテナンスが活発に継続されており、年に数度のバグ修正リリースの他、
ikeikeikeike 2015/01/29
database

api

DB

postgresql

json

JSONB

atmarkit

software-engineering
リンク
ソーシャルゲームのためのMySQL入門その２ | BLOG - DeNA Engineering
こんにちはこんにちは。11インチMacBook Airが欲しくてたまらないiwanagaです。前回の記事が幸いにもご好評を頂けた様で非常にうれしいです。嬉しくなって、ついがんばって第2弾を書いてしまいました。引き続き、ソーシャルゲームでよく使われるテーブルタイプ毎にちょっとしたテクニックを紹介していきます。今回はちょっとライトな感じ＆読み物になってしまっていますが﹁ユーザID単位で1つだけ持つデータ﹂と﹁パラメータなどのマスターデータ﹂についてご説明したいと思います。ちなみに次回はInnoDBのデータ構造の簡単な説明と複合プライマリーキーのデータについて、その次で紹介し損ねたちょっとマニアックなテクニックや性能管理のための手法を紹介することを予定しています。その前に。。。先日行われた JAPAN INNOVATION LEADERS SUMMIT で弊社松信が﹁ソーシャルゲームの
ikeikeikeike 2015/01/13
ActiveRecord

class

foreign

development

database

db

Rails

ruby

tips

MySQL
リンク
ユーザとユーザを多対多で関連付けるモデルを共通化する - Hidden in Plain Sight
思いのほか前回のRailsプチ・デザインパターンの紹介に反応があったので、こういう小ネタも出していったほうがいいのかな、ということで第二弾。ソーシャル系アプリだと、ユーザとユーザを関連付ける多対多のモデルがたくさんでてきます。たとえば、一般的なところではフォローとかブロックとか足あととか。さらにデーティングサイトになると、ウィンクだったり、Secret admirer︵こっそりlikeするけど両思いだったらおめでとうって通知がくるってやつ︶だったり、いろいろなモデルがこのパターンにあてはまります。この場合、﹁AがBをフォローしている﹂﹁BがAをフォローしている﹂﹁AとBがお互いにフォローしている﹂という3つの状態があるわけですが、相互フォローの状態は﹁AがBをフォローし、かつBがAをフォローしている﹂と読み替えてSQLでも記述可能なので、以下ではシンプルに単方向のグラフで全てを扱うもの
ikeikeikeike 2015/01/13
ActiveRecord

class

foreign

development

database

db

Rails

ruby

tips

as
リンク
プライマリキーを使った1:1関連でカラム数の多いテーブルを分割する - Hidden in Plain Sight
おそらく多くのソーシャル系アプリにあてはまるRailsのプチ・デザインパターン的な話。ぼくが今やっているEast Meet Eastには、ユーザごとに数多くのプロフィール属性があります。名前、性別、生年月日、郵便番号、職業などなど、カラム数にしてざっと25個。これを、全部ひとつのusersテーブルに詰め込むのは、コードの見通しという観点からも性能の観点からも、あまりよろしくありません。なぜならば、ユーザ関連の情報を扱う局面としては主にメールアドレスとパスワードなどを使ってログインする︵アカウント情報︶プロフィール情報で条件を指定してユーザを検索・推薦する︵プロフィール情報︶という2つの独立性の高いユースケースにわかれるため、ログイン処理をやってるときにはプロフィール情報はいらないし、プロフィールを検索してるときにはメールアドレスやパスワードをロードするのは無駄です。また、開発やデ
ikeikeikeike 2015/01/13
ActiveRecord

class

foreign

development

database

db

Rails

ruby

tips
リンク
GitHub - emirozer/fake2db: create custom test databases that are populated with fake data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ikeikeikeike 2014/12/26
べんりつるー

db

MySQL

github

database

mongodb

postgresql

python

fake2db

test

mysql
リンク
PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など
PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など PostgreSQL 9.4の主な新機能は、バイナリ形式のJSONであるJSONBのサポート、高度なレプリケーションに利用できる新しいAPI、GINインデックスの高速化など。一般的なドキュメントデータベース並の高速性 PostgreSQLでは以前のバージョンからJSON形式をサポートしていましたが、今回サポートされたJSONB形式は、バイナリ形式のJSONデータへの対応です。JSOBのサポートGINインデックスの高速化によって、ドキュメントデータベース並みの高速性を実現したとのこと。 JSONB supports fast lookups and simple expression search queries using Generalized Inverted In
ikeikeikeike 2014/12/22
data

api

for

document

db

environment

databases

database

binary

postgresql
リンク
O/Rマッパーによるトラブルを未然に防ぐ
「ORMがトラブル起こすから嫌い」なんじゃなくて、「ORMが起こすトラブルが解決できないから嫌い」ってのがほんとのところじゃない？だったら解決方法を知ればいいんじゃね？というお話。「N+1問題」もろくに知らずにORMを批判せんでほしい。Read less
ikeikeikeike 2014/12/22
MySQL

conference

database

DB

ormapper

orm

mysql

sql
リンク
PouchDB, the JavaScript Database that Syncs!
The Database that Syncs! PouchDB is an open-source JavaScript database inspired by Apache CouchDB that is designed to run well within the browser. PouchDB was created to help web developers build applications that work as well offline as they do online. It enables applications to store data locally while offline, then synchronize it with CouchDB and compatible servers when the application is back
ikeikeikeike 2014/11/07
api

data

CouchDB

database

for

browser

discussion

DB

JavaScript

html5
リンク
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのかインデックスの内部構造 - インデックスは何に似ているかインデックスリーフノード - 二重連結リスト検索ツリー(Bツリー) - バランス木遅いインデックスパートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成等価演算子 - 一致するキーの検索プライマリキー - インデックスの使い方を確認複合インデックス - 複数列に対するインデックス遅いインデックスパートII - 前の問題点が再び関数 - where句の中での関数大文字・小文字を区別する検索 - UPPERと LOWER ユーザ定義関数 - 関数インデックスの制限インデックスの作り過ぎ - 冗長性の排除法パラメータ化クエリ - セキュリティとパフォーマンスのために範囲検
ikeikeikeike 2014/10/20
date

database

db

SQL

document

performance
リンク
[Vagrant] Vagrant で複数のVM を立ち上げて、お互いに通信できるようにするには [VirtualBox] - Qiita
[Vagrant] Vagrant で複数のVMを立ち上げて、お互いに通信できるようにするには [VirtualBox]VagrantVirtualBox Vagrant では、一つの BASE BOX イメージから、複数のVMを起動することができるようになってえらくステキです。勿論、複数のイメージファイルを指定することもできますけれども、BASE BOX は素の状態にしておいて、各サーバは Chef の Role を使って識別して、構成できるようにするのが宗教的理由により優れていると判断しましたので、そのように構成してみようと至ったわけです。今は、たまたま、ZABBIX2.2の環境を構成しようとしているのですが、ZABBIX の Webフロントエンドと、ZABBIX本体(+DB)を別々のサーバにして構成してみようというところから、この考えに至ったというか、今朝、入門Chef So
ikeikeikeike 2014/08/29
config

db

chef

admin

vagrant

virtualization
リンク
クックパッドにおける最近のActiveRecord運用事情 - クックパッド開発者ブログ
インフラストラクチャー部の成田︵@mirakui︶です。 Rails のORマッパーである ActiveRecord ですが、みなさんどのように運用していますか？ ActiveRecord を使うと、 SQL を直接扱うことなく、抽象化された表現で RDB にアクセスできるので、アプリケーションの開発効率という観点ではメリットが大きいです。一方で、 ActiveRecord が駆使されているアプリケーションをサーバに配置してプロダクションとして運用する立場からすると、いくつかの問題に突き当たります。まずはクックパッド本体アプリケーションにおける、最新の rake stats をご覧ください。 +----------------------+-------+-------+---------+---------+-----+-------+ | Name | Lines | LOC
ikeikeikeike 2014/08/28
ActiveRecord

DB

Architecture

cookpad

rails

Ruby

mysql

Ruby on Rails
リンク
Facebook, Twitter, Instagram等がどうやってIDを生成しているのかまとめ - Qiita
まえがきデータにIDを持たせたいとき、単純な方法としては、DBの提供するauto incrementを使う場合やUUIDを利用することがある。それぞれの方法の利点欠点は以下の通り。データベースのauto incrementを使う場合利点: 特別な実装が必要ない欠点: DBを1台で運用するとデータベースがパフォーマンス・障害のボトルネックになる DBを二台にするとIDのユニークさや順序の保証が困難 UUID(v4)※1を利用する場合利点: 分散環境で各々がIDを生成しても衝突しないIDを公開したくない場合に、推測されにくいIDを生成できる欠点: 128ビット必要、DBのインデクシングやプログラミング言語で扱うときに不利なことがあるIDから時間の情報が失われる、例えば2つのIDを比べてどちらが古い投稿か判断できない世界の大企業がどうしてるか調べてみると多くの企業がブログなど
ikeikeikeike 2014/08/19
id

programming

DB

auto

development

facebook

twitter
リンク
ScalaのORM「Slick」でいろんなSQLを投げてみる | mwSoft
概要 SlickはScalaのCollection操作っぽい記述でDBにSQLを投げることができる。どう書くとどういったSQLが投げられるのかは普通に使ってるだけだとイマイチわからないので。よく使いそうな記述とそれによって生成されるSQLについてまとめてみる。 SQLは改行を入れたりエスケープ文字を消したりして、多少見やすくしてます。SLick1.0.1を使ってますが、ざっと見た感じでは2.0.0-RC1でもほとんど変わらない。クエリの出力方法実行クエリはH2に対して TRACE_LEVEL_SYSTEM_OUT=2 を指定することで、H2が受け取ったクエリを標準出力させている。DBによって多少の出力クエリの違いはあると思われる。 import scala.slick.driver.H2Driver.simple._ Database.forURL( "jdbc:h2:mem:tes
ikeikeikeike 2014/08/12
id

db

database

slick

scala
リンク
1 2 3 4 次のページ