[B! postgresql] negima1976のブックマーク

negima1976 id:negima1976

postgresqlに関するnegima1976のブックマーク (18)

PostgreSQLの仕組みから学ぶために必要な資料 - そーだいなるらくがき帳
質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。PostgreSQLの基本的なアーキテクチャPostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。そこで以下のリンクを読むと良い。富士通が後述の資料を参考にまとめたのだろうなと思われる記事。非常によくまとまっているのでわかりやすい。 www.fujitsu.com もっと細かく知りたいならPostgreSQL Internalsがおすすめ。富士通の資料と重複するところがあるがこっちが本家。 Githubで管理されているので誤字脱字などあったら気軽にPRを出してほしい。 www.postgresqlinternals.org PostgreSQL Internalsが少し古いので最新事情で知りたい場
negima1976 2024/01/19
postgresql

資料
リンク
PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能
PostgreSQLをWebブラウザ上で動かす﹁Postgres-WASM﹂、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能 WebAssemblyを用いてWebブラウザにx86の仮想マシンを構成することで、PostgreSQLをWebブラウザ上で実行可能にした﹁Postgres-WASM﹂がオープンソースで公開されました。 Today we're open sourcing postgres-wasmwith our friends at @_snaplet Discover how we builtit, and the extra features we've added: https://t.co/6kmfXBBhCS#postgres #wasm #opensource — Supabase (@supabase) October 3,
negima1976 2022/10/05
postgresql

ブラウザ
リンク
WebAssembly化したPostgreSQLをWebブラウザ上で実際に動かして学ぶ「Postgres playground」をCrunchy Dataが公開
WebAssembly化したPostgreSQLをWebブラウザ上で実際に動かして学ぶ「Postgres playground」をCrunchy Dataが公開オープンソースのデータベースPostgreSQLの商用サービスを提供しているCrunchy Dataは、WebAssembly化したPostgreSQLをWebブラウザ上で実際に動かしながらPostgreSQLの基本から性能分析などさまざまな機能を学べる「Postgres playground」を公開しました。 Webブラウザ上でPostgreSQLを動かすため、サーバを用意する必要もなく、万が一間違った操作でデータベースを壊したとしてもすぐにインストール直後の初期状態に戻せるため、気軽にPostgreSQLを使って動作を学ぶことができます。 WebAssembly化されたPostgreSQLにはあらかじめチュートリアル用のデータ
negima1976 2022/08/19
postgresql

ブラウザ
リンク
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQLatGitLab.com | GitLab ポイントPostgreSQL 9.6から 11.7 へのメジャーアップグレード2時間のメンテナンスウィンドウ内でアップグレード完了データサイズは6TB DBクラスターは GCP 上の12台のVMインスタンスで構成クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
negima1976 2021/01/26
postgresql

gitlab
リンク
PostgreSQL 13正式版リリース。B-Treeインデックスの重複排除、同一テーブル内でのVacuum並列処理など新機能
オープンソースのリレーショナルデータベース﹁PostgreSQL13﹂の正式版がリリースされました︵日本語プレスリリース。PostgreSQLは、これまで2017年10月にPostgreSQL10、2018年10月にPostgeSQL11、2019年10月にPostgreSQL12がリリースと、毎年この時期に順調にメジャーバージョンアップを続けています。 News: PostgreSQL 13 Released! https://t.co/krna5OWIq3 — PostgreSQL (@PostgreSQL) September 24, 2020 PostgreSQL13では、標準インデックスであるB-Treeインデックスに重複排除︵deduplication︶機能が追加されたことで、重複したインデックスタプルをマージした効率の良い表現に変換しインデックスサイズを縮小。デー
negima1976 2020/09/28
postgresql

リリース
リンク
PostgresqlCO.NF：人間のためのPostgreSQLの設定
パラメータドキュメントの参照すべてのpostgresql.confパラメーターについて必要なすべてのドキュメントとヘルプ。 Postgresの最新の9つのバージョンをカバーし、5つの言語で利用可能：英語, 日本語, ロシア語, 中国語 and フランス語他のユーザーの推奨事項を確認するか、あなたの推奨事項を共有してください。
negima1976 2020/02/12
ドメイン名がいいなｗ

postgresql

config

チューニング

ドキュメント
リンク
PostgreSQLのpsqlで実行時間だけ欲しい場合 - なからなLife
用途時間計測したいけど、結果の行表示とか余計なものは全くいらない、ってケースありますよね。性能検証やってるときとか。何百行何千行も取れるようなSQL流すと、表示するのも萎える。 pager有効だと﹁--More--﹂って出て止まる。これは﹁q﹂で残りの表示はスキップできるけど、それもめんどくさい。 pager無効にすれば余計な操作はいらなくなるけど、表示処理が重いし。結論psqlでログインして﹁\timing﹂で実行時間表示モードをONにした後、以下を実行します。その1‥メタコマンド﹁\g﹂を使って、/dev/nullにリダイレクトする。 SELECT ...(任意のクエリ) \g |> /dev/nullWindowsのコマンドプロンプトだと、Nullへのリダイレクトは﹁>nul﹂、Powershellだと﹁> $null﹂が該当するらしいのですが、これ使うと﹁The synt
negima1976 2020/01/24
postgresql

コマンド

mysql
リンク
はじめてのPostgreSQLモニタリング入門 / PostgreSQL 11 Monitoring
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
negima1976 2019/11/15
postgresql

monitoring

database
リンク
RDBのトラブルの現場を追え！ ~ 様々な現場を見る ~ / rdb-troubleshooting2
builderscon2019の登壇資料です https://builderscon.io/builderscon/tokyo/2019/timetable?date=2019-08-31 # 参考資料 - https://speakerdeck.com/soudai/rdb-troubleshooting - https://soudai.hatena blog.com/entry/2018/05/01/204442
negima1976 2019/09/02
rdb

トラブル

postgresql

mysql
リンク
RDBのトラブルの現場を追え！ / rdb-Troubleshooting
そーだいなる DBRE Nightでの登壇資料です https://connpass.com/event/138437/ # 紹介資料 - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://www.youtube.com/channel/UCeenIljXnSwrwYEU-YBE2qA/feed - https://speakerdeck.com/soudai/postgresql-architecture-and-performance-monitoring - https://gihyo.jp/dev/feature/01/dex_postgresql/0002 - https://lets.postgresql.jp/documents/technical/query_analysis/1 - http
negima1976 2019/08/06
rdb

postgresql

トラブル
リンク
TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com ﹁データベースのクエリログを取得したい﹂例えば、データベース︵RDBMS︶のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力︵のIO負荷︶を別サーバに分離したくなります。では、どうすればよいかというと、例えばアプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離するアプリケーションサーバ側で︵notアプリケーションで︶記録することで︵大抵、サーバ台数の多い︶アプリケーション側にIO負荷を分散するというような方法を思いつきます。そこで、﹁もし、TCPコネクション上に流れている︵例えば︶クエリログを解析してログ
negima1976 2018/09/25
tcp

mysql

postgresql

network

ログ
リンク
SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った - k0kubun's blog
sqldefのリポジトリ github.com これは何か Ridgepoleというツールをご存じでしょうか。これはRubyのDSLでcreate_tableやadd_index等を書いてスキーマ定義をしておくとそれと実際のスキーマの差異を埋めるために必要なDDLを自動で生成・適用できる便利なツールです。一方、で言われているように、Ridgepoleを動作させるためにはRubyやActiveRecordといった依存をインストールする必要があり、Railsアプリケーション以外で使う場合には少々面倒なことになります。*1 *2 そこで、Pure Goで書くことでワンバイナリにし、また別言語圏の人でも使いやすいよう、RubyのDSLのかわりに、誰でも知ってるSQLでCREATE TABLEやALTER TABLEを書いて同じことができるようにしたのがsqldefです。使用例現時点ではMy
negima1976 2018/08/27
ツール

mysql

database

postgresql
リンク
PostgreSQLとMySQL、使うならどっち？データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？データベース専門家が8つの視点で徹底比較！オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？それぞれの専門家による対談で明らかにします。エンジニアとして働いていると必ず直面する悩み。それは、﹁どのリレーショナル・データベース︵以下、RDB︶を選ぶのが最善なのか？﹂です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。では、両者は具体的にどのような長所・短所があるのでしょうか。そ
negima1976 2017/09/05
db

MySQL

PostgreSQL
リンク
複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog
こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6﹁Shardingマジ怖い﹂tech.kayac.com Advent Calendar 2012)。こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速
negima1976 2017/02/13
go

postgresql

MySQL

クエリ
リンク
GitLabのデータ消失に対するアドバイス | Yakst
GitLabのデータベースが消失してしまった事故に関して、PostgreSQLのコミッターであり、PostgreSQLに関するコンサルティング会社2ndQuadrantのCTOでもあるSimon Riggs氏からの分析とアドバイス。 GitLabのみなさん、PostgreSQL 9.6とレプリケーション機能、バックアップの仕組みを使ってくれてありがとう。今回、GitLabのデータベースが消えてしまったのは残念です。 https://about.gitlab.com/2017/02/01/gitlab-dot-com-database-incident/ 振り返りの分析に対するコメントができるように、こういった情報を公開してくれてどうもありがとう。レプリケーションの遅延を監視していたのはいいことですし、私としてはとてもうれしいです。4GBのレプリケーション遅延は問題ないこともありますし、
negima1976 2017/02/06
gitlab

PostgreSQL
リンク
GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット－ Publickey
果たしてGitLab.comで何が起きたのでしょうか？これまでの経緯をまとめました。スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を﹁GitLab.com Database Incident - 2017/01/31﹂で公開しています。また、もう少し整理された情報がブログ﹁GitLab.com Database Incident | GitLab﹂にも掲載されています。これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。1月31日16時︵世界協定時。日本時間2月1日午前8時︶、YP氏︵Yorick Peterse氏と思われる︶はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。1月31日21時
negima1976 2017/02/02
gitlab

障害

postgresql
リンク
MroongaとPGroonga - Kouhei Sutou - Rabbit Slide Show
Description MySQL・PostgreSQLでGroonga（Mroonga・PGroonga）を使って日本語全文検索する方法とその特徴を紹介します。 Page: 1 Mroonga PGroonga と Groongaを使って MySQLとPostgreSQLで日本語全文検索クリアコード須藤功平 MySQLとPostgreSQLと日本語全文検索 2016-02-09 Mroonga と PGroonga - Groongaを使って MySQLとPostgreSQLで日本語全文検索 Powered by Rabbit 2.1.9 Page: 2 Mroonga・PGroonga Mroonga（むるんが） MySQLに高速日本語全文検索機能を追加するプロダクト PGroonga（ぴーじーるんが） PostgreSQLに高速日本語全文検索機能を追加するプロダクト Mr
negima1976 2016/02/10
MySQL

postgresql

groonga

全文検索
リンク
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記はてなグループ日記のエクスポートデータは2020年2月28
negima1976 2010/08/09
mysql

postgresql

レプリケーション
リンク
1