分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表
分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d
劔"Tsurugi"
劔 新しいハードウェアアーキテクチャ（メニーコア・大容量メモリー）に合わせた設計思想で、 性能を最大限に発揮する国産リレーショナルデータベース
ノーチラス・テクノロジーズとNEC、メニーコアと大容量メモリに最適化した国産の次世代インメモリデータベース「劔（Tsurugi）」発表。アーリーアクセス版公開
ノーチラス・テクノロジーズとNEC、メニーコアと大容量メモリに最適化した国産の次世代インメモリデータベース「劔（Tsurugi）」発表。アーリーアクセス版公開 日本電気株式会社と株式会社ノーチラス・テクノロジーズは、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）のプロジェクトとして開発をしてきた国産のリレーショナルデータベース管理システム「劔（Tsurugi）」のアーリーアクセス版の公開を発表しました（開発者の神林氏による解説「劔"Tsurugi"とは何か」）。 劔の最大の特徴は、メニーコア、大容量メモリといった最新のハードウェアに対して最適化されたインメモリデータベースとして最初から設計、開発されていることです。 これは、現在主流となっているリレーショナルデータベース製品の多くが10年以上前のコンピュータハードウェアの主流であったシングルコアやデュアルコアなど少数のプロセ
2019年に「データベース:: 論理の使い所は」という記事を書きました。タイトルに「データベース::」という接頭辞を付けたのは、一連の記事を検索しやすくするためです。一連の記事とは、次の意図で書かれる“はずだった”記事です。 ちゃんと書こうと思うと億劫になるので、ふと思い立ったときに、データベースと論理に関するラフなメモ書きを残すことにします。 ところが、接頭辞「データベース::」が付いた記事は2019年の記事一本だけ。続きはありませんでした。 最近（2023年6月）、「カーディナリティ〈多重度〉の“カラスの足”記法が分からない」という記事を書きました。この記事を書いた後で、「データベースに関連する記事になんか接頭辞を付ける気でいたような？」と思い出しました。“カラスの足”記事のタイトルを変える気はありませんが、この記事には接頭辞「データベース::」を付けました。4年ぶりの2本目の記事とな
スマートフォンゲーム「ブルーアーカイブ」が6月21日午後8時から緊急メンテナンス中だ。同日午前11時から午後7時にかけて実施していた定期メンテナンス中、データベースに関する作業ミスがあったといい、22日午後12時55分時点で緊急メンテナンスを継続している。 「6月21日午前11時に実施されたメンテナンス中、開発チームによるデータベースに対する高可用性修正において、作業ミスが発生した」（ブルーアーカイブ公式Twitterアカウント）という。これにより、21日午前9時から11時、午後7時から8時にかけてのゲームプレイのデータが一部正しく保存できなかったという。 保存できなかったデータについては「最大限にデータの復元ができるよう、対応を行う」という。メンテナンスの終了予定時刻は随時発表する。 ブルーアーカイブはゲームパブリッシャーのYostar（東京都千代田区）が2021年にリリース。アップデー
Kysely | Kysely
Type-safe SQL queriesKysely let's you write type-safe SQL queries. This eliminates entire classes of errors and let's you sleep peacefully at night. No magic, just SQLKysely is a light abstraction layer over SQL. This makes it easy to reason about performance, and reduces the amount of concepts you need to learn to be proficient with the library. Great autocompletionBy exposing your database schem
データサイエンティストにとって、ChatGPTはうまく利用することで非常に強力なツールになることは間違いありません。 近い将来、データサイエンティストの中でもChatGPTをうまく使いこなせる人とそうでない人の間には、大きな差が生まれるでしょう。 そこで、今後ChatGPTを上手に活用できるようにデータサイエンティストが必ず読むべき記事を紹介します！ ChatGPTの公式プラグイン「code interpreter」 データサイエンティストの業務を大きく変える可能性のある、ChatGPT公式プラグイン「code interpreter」について解説している記事です。 ファイルのアップロード機能を使うことで、チャット上にデータをアップロードし、そのデータに対してコードを実行することができるようになります。 また、作業の結果をcsvなどでダウンロードすることが可能です。 つまり、code in
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
はじめに 最近 langchain を使うようになってきて、OpenAIのAPIをちょこちょこ叩くのですが、いかんせん遅い いや十分に早いのだけど、ドキュメントの量があると若干気になってくる速度です そこで、 ローカルLLMとしてrinna を使ってみたりしたのですが、まだまだ遅いです すでに先行して実装例を作ってくれていた RWKVでembedding vectorを計算 の記事と SQLiteでベクトル検索ができる拡張sqlite-vssを試す の記事を大いに参考にしながら RWKV と sqlite-vss を使って高速なベクトル検索を作ってみます RWKVのモデル 今回は学習済みのRavenモデル RWKV-4-Raven-3B-v12-Eng98%-Other2% を使っていきます OpenAI の text-embedding-ada-002 モデル では 1536次元と扱いや
Rust の DI を考える –– Part 2: Rust における DI の手法の整理 - paild tech blog
持続可能な AWS インフラストラクチャの最適化、第四部：データベース編 | Amazon Web Services
Amazon Web Services ブログ 持続可能な AWS インフラストラクチャの最適化、第四部：データベース編 このブログは Otis Antoniou, Ibtehaj Ahmed, Darren Ko, Ceren Tahtasiz によって執筆された内容を翻訳したものです。原文はこちらを参照して下さい。 このシリーズの第一部：コンピュート編、第二部：ストレージ編、第三部：ネットワーキング編では、持続可能性のために AWS アーキテクチャのコンピュート、ストレージ、ネットワーキングレイヤーを最適化するための戦略を紹介しました。 この投稿、第四部では、データベースレイヤーに焦点を当て、データベースの使用率、パフォーマンス、およびクエリを最適化するための推奨事項を提案します。これらの推奨事項は、AWS Well-Architected Framework のサステナビリティ（持続
While these fixes moved the needle, they had limitations. By analyzing our database traffic, we learned that writes— like gathering, updating, or deleting data—contributed to a significant portion of database utilization. Additionally, not all reads or data fetching could be moved to replicas due to application sensitivity to replication lag. So, from both a read and write perspective, we still ne
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
【20分で理解】小難しいインデックス・トランザクション・ロックを"サクッ"とMySQLでまとめてみた - Qiita
1. インデックス MySQLで利用可能なインデックスは一部を除き、B-Treeインデックスと呼ばれる構造でできてます。Bツリーインデックスは、ブランチノード(ブランチ), リーフノード(リーフ)で構成されており、ルートノードから数ステップで目的のデータに到達することができます。 データの格納とアクセス方法 クラスタインデックス MySQLのInnoDBストレージエンジンでは、すべてのテーブルは主キー（PRIMARY KEY）によるクラスタインデックスを持ちます。クラスタインデックスとは、データ行が主キーの値によって物理的に順序付けられた状態のことを指します。このため、主キーによる検索は非常に高速です。 セカンダリインデックス セカンダリインデックスは、クラスタインデックス以外のすべてのインデックスを指します。セカンダリインデックスのリーフページ（最下層のインデックスページ）には、インデッ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます コラボレーションソフトウェア「Notion」を提供するNotion Labsは米国時間5月31日、「Notionプロジェクト」を正式リリースした。 Notionプロジェクトは、社内Wikiやドキュメントなどとシームレスに統合され、AIを組み込んだプロジェクト・タスク管理ソリューション。ツールを統合することでチームはサイロを排除し、よりスピーディかつ分かりやすくプロジェクト管理をできるという。 これまでもNotionは、プロジェクト管理に必要な基本機能を搭載していたが、Notionプロジェクトにより、プロジェクト管理をより高度に行えるようになる。また、手軽にスタートできるテンプレートパックの活用により、これまでNotionを使っていなかっ
DB設計の共有で疲弊してない？dbdocsのすゝめ
RDSのDBメンテナンスについて
内容 らくがき記事、RDSでダウンタイムなしの24-365構成ってどうすればと思い書いている記事です。 とりあえずはRDSでメンテナンスやアップデート処理が走る時に、サービスダウンするのか否かを整理した資料となります。 RDS(MySQL)の整理 機能概要 最大 64 TiB のデータベースサイズをサポート 汎用インスタンスクラス、メモリ最適化インスタンスクラス、およびバースト可能パフォーマンスインスタンスクラスをサポート 自動バックアップとポイントインタイムリカバリをサポート。 単一のリージョン内または 5 つのリードレプリカのクロスリージョン内で、インスタンスごとに最大 15 個のリードレプリカをサポート 可用性と耐久性 ３種類のオプションが選択可能 単一DBインスタンス スタンバイインスタンスのない単一の DB インスタンスを作成します。 マルチAZ DBインスタンス 別のアベイラビ
はじめに｜図解 DB インデックス
データに携わるなら学んでおきたいデータマネジメントについてまとめました。 誰かの「データマネジメントを学ぶきっかけ」になれば幸いです！ 想定読者 データ分析をする方（データサイエンティストなど） データ基盤を担当している方（データエンジニアなど） IT部門ではないが仕事でデータ活用を求められている方（事業部の方など） ゼロからデータマネジメントを学びたい方 データマネジメントとは データマネジメントとは「データを資産として捉え、体系的に価値を引き出すための手法」です。 資産なので置き場所を決めます 資産なので盗まれたり、なくなったりしないようにします 資産がどこからきて、どこへ行くのかを把握します 資産の価値が減らないように気を配ります 資産を監督する人や、そのルールを決めます 引用：データマネジメントが30分でわかる本 | ゆずたそ, はせりょ, 株式会社風音屋, ゆずたそ | 経営情報
PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行した際の性能劣化について調べてみた | DevelopersIO
はじめに 概要 DynamoDBのテーブルの用語やテーブルの検索方法がまっっったくわからなかったので、イラストをまじえながらいつでも見返せるように書いてみました。 この記事で得られること DynamoDBのテーブルの基礎概念についてイラストで理解できます。 テーブルの操作はaws cliで行なっていますが、もちろんコンソール画面からもできます。 全体の概要を理解したいので、aws cliのコマンドについては軽く読み流してもらって大丈夫です。 用語 DynamoDBのテーブルには色々な用語があります テーブル パーティションキー ソートキー Item(項目) Attribute(属性) index その他もろもろ… 何を言っているのかよく分かりませんね。 そこで、今回は私たちに馴染みのある「学校」をテーマにイラストを使って解説をしていきます。 みなさんは先生になった気持ちでどうすれば生徒たち
僕たちは本当のSQLite3を何も知らない（柔軟なデータ型と外部キー制約の罠について） - give IT a try
Cloudflare、分散SQLiteデータベース「Cloudflare D1」の性能を10倍以上高速に、ストレージバックエンド強化で。任意の状態にいつでも戻せる機能も
Cloudflare、分散SQLiteデータベース「Cloudflare D1」の性能を10倍以上高速に、ストレージバックエンド強化で。任意の状態にいつでも戻せる機能も Cloudflareは、同社のエッジロケーションでマネージドサービスのSQLiteを提供する「Cloudflare D1」をアップデートし、大幅な性能向上と機能向上を行ったことを発表しました。 We've been heads down iterating on D1, and we've just shipped a major new version that's substantially faster, more reliable, and introduces Time Travel: the ability to restore a D1 database to any point in time. Read
package main import ( "net/http" "github.com/labstack/echo/v4" ) func main() { e := echo.New() e.GET("/", func(c echo.Context) error { return c.String(http.StatusOK, "Hello, World!") }) e.Logger.Fatal(e.Start(":1323")) } # syntax=docker/dockerfile:1 # Comments are provided throughout this file to help you get started. # If you need more help, visit the Dockerfile reference guide at # https://docs.
Unlocking the Power of JunoDB: PayPal’s Key-Value Store Goes Open-Source
Today we are delighted to share JunoDB as an open-source project on Github, allowing others to benefit from our efforts to have an extremely scalable, secure and highly available NoSQL infrastructure. JunoDB is a distributed key-value store that plays a critical role in powering PayPal’s diverse range of applications. Virtually every core back-end service at PayPal relies on JunoDB, from login to
This post is also available in Deutsch, 简体中文, 日本語, Español, Français. We’re not going to bury the lede: we’re excited to launch a major update to our D1 database, with dramatic improvements to performance and scalability. Alpha users (which includes any Workers user) can create new databases using the new storage backend right now with the following command: $ wrangler d1 create your-database --ex
世界初、究極の海賊版&非公認互換ゲーム機データベース アタリ、ファミコン、メガドライブ、スーパーファミコン、ゲームボーイなどを対象に、大昔の海賊版から近年の合法互換機まで10,000機種以上を網羅。※不特定多数のゲーム機をエミュレータで再現する機種は取り扱いません。
sqlfmtによって何を解決したいのか
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
Azure 仮想マシン上に作成した SQL Server の日本語化手順（Windows OS 版 SQL Server 2019 / 2022 対応手順）
こんにちは、 SQL Server サポートです。 今回は、Azure 管理ポータルのギャラリーからデプロイした Azure 仮想マシン上に作成した SQL Server 2019 / 2022 (Windows OS 版) の日本語化手順 について紹介します。これらの手順は、日本語版以外の SQL Server の場合でもご利用いただけます。 また、 SQL Server 2012 、2014 、2016 および 2017 においても本ブログと同様の手順で日本語化が可能です。 Azure ギャラリーイメージより、SQL Server が含まれた仮想マシンをデプロイすることが可能ですが、現在は英語版のみの提供となっています。SQL Serverデータベースエンジン実行可能ファイルは全言語共通であるため、以下の手順を実施しなくても、日本語データの格納、取り出し、検索は可能です。データベースの
以前の記事で、ベクトルデータベースのPineconeを紹介しました。そろそろ他のベクトルデータベースも試してみたいと思い、今回はWeaviateについて調べてみました。「ベクトルデータベースとは」というところについては、以前の記事で触れていますので参照してください。 Weaviateの概要 Weaviateは、オープンソースでAI Nativeのベクトルデータベースです。「AI Native」というところが特徴で、MLモデルをモジュールとして組み込むことができ、それによってデータベースの内部でオブジェクトのベクトル化を行ったり、分類をしたり、結果を言語生成して返すなど様々なユースケースに対応できます。 主な特徴は以下のとおりです。（What is Weaviate? より意訳してます） オープンソースです。 データオブジェクトをベクターでインデックス化することで、そのセマンティックな特性に
全国の感染症の感染状況のデータです。 約20種類の感染症について全国の感染者数推移や都道府県ごとの感染者数をお伝えしています。
最新のAIツールを活用してビジネスを一歩先へ進めませんか？ 専門チームが貴社のニーズに合わせた最適なソリューションを提案します。
SQLの実行計画の読み方 |
Data is an integral part of the web. As JavaScript and TypeScript frameworks make it easier than ever to server-render just-in-time data, it's time to make databases a first-class part of Vercel's frontend cloud. Today, we’re excited to announce a suite of serverless storage solutions now available on Vercel, powered by some of the best infrastructure providers in the industry. Vercel KV: A server
We’re thrilled to introduce Deno KV, a strongly consistent key-value database, globally replicated for low-latency reads across 35 worldwide regions. Deno Deploy aims to provide the simplest and fastest way to deploy and run JavaScript, TypeScript, and Wasm at the edge. However, creating stateful apps on Deno Deploy previously required connecting to external cloud databases, which involved additio
WEB+DB PRESSは，2023年8月発売のVol.136をもって隔月刊誌としては休刊させていただきます。物価上昇による製作費の高騰など諸般の事情により，今回の決定に至った次第です。 突然の休刊案内にてたいへん恐縮ではございますが，何卒ご理解を賜りますよう，お願い申し上げます。 22年以上の長きにわたり，絶大なご支援をいただきましたことを，厚く御礼申し上げます。 弊誌で扱っていた分野のコンテンツは，今後も弊社刊行のSoftware Designやgihyo.jp，書籍などで提供させていただきます。また，必要な場合には「特別号」の編集・刊行なども検討してまいります。 最後に，皆様の一層のご活躍を心より祈念しております。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発
データベース:: テーブルのキーって何なのよ？ - 檜山正幸のキマイラ飼育記 (はてなBlog)
「ブルアカ」緊急メンテ 約17時間経過 定期メンテ中にデータベースの作業ミス
【ChatGPT】データサイエンティストが読むべきChatGPT関連の記事・動画まとめ - Qiita
基本4情報での名寄せは難しい｜MORIDaisuke
RWKVとsqlite-vssで高速なベクトル検索を作ってみる
DBのリストアテストを全自動化した話 - Pepabo Tech Portal
The growing pains of database architecture | Figma Blog
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
Notion、「Notionプロジェクト」を提供--分かりやすいプロジェクト管理を可能に
後輩エンジニアを絶望させるDB設計方法4選 - Qiita
データに携わるなら学んでおきたい"データマネジメント"について - Qiita
イラストで理解するDynamoDBのテーブル - Qiita
今からDockerを始める人へ！Docker Initがアツい！
D1: We turned it up to 11
世界最大の非公認ゲーム互換機データベース。いにしえの海賊版から近年の合法互換機まで網羅。
ベクトルデータベースWeaviateの概念を整理する | DevelopersIO
約20種類の感染症 感染者数の推移・全国比較 最新ニュース - NHK
【毎日更新】日本最大のAIツールまとめサイト | AIツールギャラリー
Introducing storage on Vercel – Vercel
Announcing Deno KV
『WEB+DB PRESS』 休刊のお知らせ：WEB+DB PRESS