[B! MongoDB] rx7のブックマーク

MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など

Mongo DB社は、同名のNoSQLデータベースの最新版となる﹁Mongo DB 5.0﹂のリリースを発表しました。Mongo DB 5.0はオンプレミス用と、クラウドサービス﹁Mongo DB Atlas﹂の両方で提供されます。 Breaking News - CTO @MarkLovesTech announces the release of Mongo DB 5.0! Introducing new workloads Future proof apps Next-gen privacy pic.twitter.com/bZhv7vw8kt — Mongo DB (@Mongo DB) July 13, 2021 Mongo DBは、さまざまな種類が存在するNoSQLデータベースの中でも、ドキュメント指向データベースとしてJSON形式のデータ格納を中心としたデータベースです。JSONを用いること

rx7 2021/07/20

MongoDB

リンク

MongoDBを始めた頃に知っていたら、と思う14のこと

Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

rx7 2020/06/17

MongoDB

リンク

Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行

Amazon S3のデータを直接検索できる﹁Mongo DB Atlas Data Lake﹂正式リリース。データベースへの転送不要、Mongo DBのクエリ言語を直接実行 Mongo DBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接Mongo DBのクエリ言語で検索可能にするクラウドサービス﹁Mongo DB Atlas Data Lake﹂の正式リリースを発表しました。発表は同社がオンラインで開催したイベント﹁Mongo DB.Live 2020﹂で行われました。通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 Mongo DB Atlas Data

rx7 2020/06/11

リンク

Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発

Redis、Mongo DB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる﹁オープンソースのいいとこ取り﹂に反発オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる﹁Redis﹂の開発元﹁Redis Labs﹂は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました︵Redis本体のライセンスはBSDライセンスのまま︶。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。ライセンス変更を発表した記事﹁Redis’ License

rx7 2019/01/16

リンク

MongoDB 4.0 探検日記 - astamuse Lab

Mongo DBと過ごした8年を振り返りながら、お気に入りのMongo DBマグカップで濃いめのモカを啜っています。たのしくテンポの良い開発、フラグメンテーションとの長い夜、主語の大きいロック、星の数ほどのMongo DBステッカー、高嶺の花のMongo DB公式Tシャツなどが走馬燈のように目の裏を駆け巡ります。今年6月、ついに昨年10月のNasdaq上場後初のメジャーバージョンアップであるMongo DB 4.0がリリースされました。この成長著しいMongo DBにキャッチアップすべく、私fdkはMongo DB 4.0の探検に出かけました。*1 Mongo DBについて Mongo DBは2007年より10gen︵現Mongo DB Inc.︶により開発され、2009年の初版リリース以来、継続的にリリースを重ねているドキュメント指向データベースです。階層構造を表現できるドキュメントと呼ばれるデータ構

rx7 2018/09/19

弊社エンジニアによる、MongoDBの新作レビューです。

MongoDB

リンク

MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと

Mongo DB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongo DB 4.0で。性能劣化はないと複数ドキュメントに対する操作をコミット／ロールバック可能に今回実現するマルチドキュメント対応のACIDトランザクションとは、「start_transaction」によりトランザクションの開始を宣言したあとで、複数のドキュメントに対する操作を行い、そのいずれかが失敗したときにはロールバックしてすべてのドキュメントをトランザクション開始前の状態に戻す、というもの。ドキュメントに対する操作がすべて成功し、「commit_transaction」でトランザクションのコミットが宣言された場合、その状態が確定されます。同社共同創業者兼CTOのEliot Horowitz氏は、こうしたACIDトランザクションの実装による性能劣化はないと説明してい

rx7 2018/02/26

"ACIDトランザクションの実装による性能劣化はない" ほほう・・・。

MongoDB

リンク

DBが真っ白になっても55分で完全復旧ができるまでの道 | CyberAgent Developers Blog

初めまして。サイバーエージェント技術本部インフラエンジニアの@prog893です。今回は﹁AWA﹂という音楽ストリーミングサービスのMongo DBクラスタの復旧時間を短縮するために行ったインフラの改善について紹介したいと思います。復旧時間が12時間から55分まで短縮できたのですが、皆さんの参考になれば幸いです。︵※注意‥今回紹介する施策はAWAのインフラ構成や設定のものであり、他の環境で同じような効果が得られるとは限りません︶ AWAのデータストア構成まず、現在のデータストア構成について軽く説明します。こちらの図でAPIサーバ，Mongo DBに関連する構成の概要を示します‥ AWAのデータストア構成概要メインのデータストアとしてはMongo DBを使っており、Mongo DBのインスタンスはAWSで管理しています。APIサーバ、Mongo DBのインスタンスがそれぞれのプライベートサブネット

rx7 2018/02/13

素晴らしい。(が、主語がデカいw MongoDBの話。あと秘伝のタレ...)

リンク

星屑のおじさま、野生のトラを撃つ - astamuse Lab

こんにちは。石橋を叩き過ぎて割るタイプの福田です。春の足音を聴きながら、雲方面への移住を進めています。さて、寒さもピークの昼下がり、ソイラテを片手にラップトップ整理。2年物・書き捨てのPythonスクリプトに、ふと足を止めました。すれっからしですが、意外に役立つので取り上げておきます。 Mongo Oscillator 今から2年前の2015年3月、Mongo DBのバージョン3.0がリリースされ、新しいストレージエンジンWiredTigerが選択できるようになりました。その後、同3.2で従来のMMAPv1に代わりデフォルトのエンジンとなります。当時のホワイトペーパーには、大幅なパフォーマンス向上、透過的圧縮、フラグメンテーションからの解放とあり、食指が動きます。しかし、直ぐにアップグレードするのは気が引けるので、諸々のテストを実施しました。はじめに、実運用のケースに即したテス

rx7 2017/02/22

弊社チーフラーメニストによる、ポエムなタイトルだけど、MongoDBのWiredTigerに対する更新テストの話。

リンク

Disable Transparent Huge Pages (THP) - MongoDB Manual v7.0

General InformationDocumentationDeveloper Articles & TopicsCommunity ForumsBlogUniversity

rx7 2016/06/03

MongoDB

リンク

Performance Best Practices for MongoDB MongoDB 3.2 March 2016 A MongoDB White Paper Table of Contents 1Introduction 1Pluggable Storage Engines 2Hardware 4Application Patterns 5Schema Design & Indexes 6Disk I/O 7Considerations for Amazon EC2 7Consideratio

rx7 2016/05/17

リンク

AWS Solutions Architect ブログ

こんにちは、ソリューションアーキテクトの舟崎です。 4/26(火)に開催しましたAWS Black Belt OnlineSeminar﹁AWSで使うMongo DB ﹂の資料が公開されました。また、頂いたOnlineSeminarで頂いたご質問とその回答が以下になります。こちらも併せてご覧ください。 Q1: Mongo DBのシャードの追加・削除/ノードのスケールアップに関しては、メンテナンスなどを使用せずオンラインで実施できますでしょうか？止められるなら確認等の意味で安心ではありますが、シャーディングのシャード追加・削除は完全にオンラインで可能ですし、スケールアップもレプリカセットのメンバーを1台ずつローリングでスケールアップすることで実施可能です Q2: 別リージョンのレプリカセットに接続するにはVPNを利用する想定でしょうか？インターナルな接続であればVPNを使用する想定です

rx7 2016/05/12

資料内 "渋谷のインフラエンジニア（仮）をしてました" って、渋谷で10年以上働いていて(仮)ってなんだよww

リンク

MongoDB 3のWired Tigerを使うとうれしいこと - Qiita

Mongo DB3の大きな変更点として、データを永続化するストレージ部分の実装が、今まではOS任せのMMAPベースしか選べなかったのが、WiredTigerも選べるようになったことだ。 WiredTigerになって何がうれしいのかまとめてみた。ドキュメントレベルロックになった Mongo DB2系ではMMAPベースでロックの単位がデータベースで、Mongo DB3系でも従来のMMAPベースのものだとコレクションレベルロックまでしかできないが、WiredTigerを選べばドキュメントレベルロックができるようになった。これにより書き込み時のロック待ちが減るインデックスとデータを別ディレクトリにすることができるようになった --wiredTigerDirectoryForIndexesのオプションにより、インデックスをデータと別の場所に配置できる。メモリだけを高速なSSDに入れ、データは

rx7 2016/04/20

MongoDB

リンク

MongoDB 3.0のWired Tigerのデータ圧縮とメモリ使用量制限を検証してみた - Qiita

Mongo DB 3.0から従来のmmapベースのストレージエンジンから、Wired Tigerというストレージエンジンが使えるようになった。主な変更点は以下のとおり。mmapベース Mongo DB ver 3にはMongo DB ver 2にあったmmapベースに改良を加えたものが乗っている Mongo DBはOSのmmap()システムコールを読んで、OSにデータファイルをメモリに載せてもらう。 MongoDBはメモリを管理しない。OS任せ。メモリ使用量を制限できない。OSから与えられるだけ使う。メモリがいっぱいになるとOSが適宜スワップさせるデータ圧縮できないコレクションレベルロック︵ver 2のころはデータベースレベルロック︶インデックスとデータは分離できない︵同一ファイル内に混在︶ Wired Tiger Mongo DB ver 3からの新規 Wired Tigerというス

rx7 2016/04/20

MongoDB

リンク

MongoDBの単体性能（前編）

はじめに Mongo DBは使い始めるのが簡単で、インターフェースもJSONを出し入れするだけとシンプルなため、DBMSに関して知識が少ないアプリ開発者でも簡単にアプリを開発することができます。サクッとアプリを作り、サンプルデータで動作を確認し、いざ本番データで動かしてみたら﹁あれ？思った以上に性能が出ない﹂なんてことはないでしょうか？﹁Mongo DBはNoSQLなんだから速い﹂という思い込みは危険です。Mongo DBをはじめとするNoSQLは﹁水平分散(シャーディング)が得意で、水平分散すれば単体構成よりも速い﹂というのは事実ですが、単体構成が速いかどうかはチューニング次第です。また﹁NoSQLなんだからRDBMSより速い﹂という考えもよくありません。単体性能を比較した場合、どちらが速いかは単純には比較できません。﹁じゃあ、性能を上げるために水平分散をしよう！﹂と考えるかもしれませんが

rx7 2015/07/22

そろそろ桑野様のカウンタエントリが出てくるだろう。

MongoDB

リンク

AWS News Blog

New – Amazon EC2 M7a General Purpose Instances Powered by 4th Gen AMD EPYC Processors In November 2021, we launched Amazon EC2 M6a instances, powered by 3rd Gen AMD EPYC (Milan) processors, running at frequencies up to 3.6 GHz, which offer you up to 35 percent improvement in price performance compared to M5a instances. Many customers who run workloads that are dependent on x86 instructions, such a

rx7 2015/04/19

リンク

MongoDB 3.0正式版がリリース。新ストレージエンジンWiredTiger導入で最大10倍の性能向上

Mongo DB 3.0の最大の特長はストレージエンジンAPIが採用され、ストレージエンジンが入れ替え可能︵プラガブル︶になったことです。Mongo DB 3.0からは新しいストレージエンジンWiredTigerが導入されました。 WiredTigerは従来のエンジンに比べて書き込み性能で7倍から10倍のスループット性能向上を実現。ドキュメントレベルでの並列性も実現しています。これによって大量書き込みの発生するモバイルアプリケーションやソーシャルアプリケーション、IoT︵Internet of Things︶などのバックエンドで従来以上に性能を発揮できるようになったとのこと。またデータの圧縮機能を搭載したことにより、最大80％以上のデータ容量を削減できるようになりました。アプリケーションの要求にあわせて圧縮率と性能の適切なバランスをとるための圧縮アルゴリズムの選択も可能。専用管理ツールのO

rx7 2015/03/06

MongoDB

リンク

MongoDB 3.0 リリースノート斜め読み - 中年engineerの独り言 - crumbjp

遂にMongo DB 3.0 が正式リリースされました！！例によってリリースノートを斜め読みします。 http://docs.mongo db.org/master/release-notes/3.0/ が、、最初に一言で纏めると、まあ、、目玉機能はロックレベルの話だけですよーでわ。。 Pluggable Storage Engine AP 以下の2つからストレージエンジンを選べる。MMAPv1 これまでのストレージエンジン。デフォルト WiredTiger 3.0から追加されたストレージエンジン WiredTiger Mongo DBの全ての機能をサポートしている。MMAPv1とフォーマットが違うので既存のアップデートの場合、移行する際に色々必要。ドライバも最新に上げないとダメ。ドキュメントレベルロックが可能！！ touchコマンドはサポートしてないMMAPv1 Improve

rx7 2015/03/05

MongoDB

リンク

45歳以上はMongoDBを使ったシステムが使えなくなる件 - Qiita

Mongo DBを使うシステムが、最近多いと思います。 2.6系(安定版)の最新2.6.7ですが、Date型のインポート処理にバグがありそうです。﹁1970/01/01﹂以前の Date型を mongoexport すると、負の "$numberLong" として出力されるのですが、それを mongoimport すると、それ以降のフィールドが欠落してしまうのです。例えば、ユーザマスタに﹁誕生日﹂フィールドがあると、45歳以上の人は﹁1970/01/01﹂以前の値が入っているわけで、マスタデータを移行したりでもすると、その人のフィールドがガッツリ無くなってしまいます。でも若手は大丈夫だから﹁どうせ部長の使い方がおかしいんでしょwww﹂といういつもの﹁偉い人に限って障害が発生する﹂パターンが展開されます。大急ぎで調べた所、以下が判明しました。 2.6形式 "1965-11-17T00: