[B! database] hobbiel55のブックマーク

データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog

はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。はじめにスマートリストとはスマートリストの設計検索の仕様変更高負荷時のハンドリングそして障害へ見逃した点 DBの実行計画確認時の見逃し動作確認時の漏れ監視先の漏れログの損失おわりにスマートリストとはスマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。スマートリストとは、特定の条件の顧客をラベリングする機能です。早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし

hobbiel55 2024/07/02

リンク

フリーBGMが18,939曲ラインナップ！フリーBGM協会によるデータベース提供決定

hobbiel55 2024/06/25

リンク

こんなに違うよ MySQLとPostgreSQL /

2024年6月22日に開催された「第14回　関西DB勉強会」での、『こんなに違うよ MySQLとPostgreSQL ～MySQLとPostgreSQLのニッチな違いを語る～』の発表資料です。 https://kansai dbstudy.connpass.com/event/316348/

hobbiel55 2024/06/23

リンク

クラウド時代のデータベースを理解するために①

最近、分散データベースとかNewSQLとかサーバレスなデータベースとか色々聞きますよね。でも、専門ではない人たちにとって、﹁何が違うの？﹂﹁自分たちに必要なDBはどれなの？﹂という点が分かりづらいと思います。私も良く聞かれます。 AuroraはNewSQLですか？ NewSQLってサーバレスなんですか？スケールできないDBとか聞きますけど、リードレプリカ増やせますよね？などなど。この辺に基本的なところから答えられるように、順を追って解説していきましょう。﹁コンピュートとストレージは別であれ﹂と神が言うと、コンピュートとストレージは分離された。と言うのは冗談ですが、まずはここからスタートしましょう。クラウド以前のデータベースを使っていた人にはお馴染みのように、それまでデータベースは大きな1つの箱でした。過去に私は下図でデータベース︵厳密にはRDBMS︶のコンポーネントを解説

hobbiel55 2024/05/29

リンク

SQL滅ぶべし | ドクセル

SQL • リレーショナルデータベースシステムと会話するための言語 • 1970年 Codd が RDB モデルと同時に提案 (Alpha言語) • 1974年 Chamberlin と Boyce が改良 • 元々は SEQUEL (Structured English Query Language) だったが、商標登録されていた • 読み方はエスキューエルとそのまま読む (Glliespie 2012)

hobbiel55 2024/05/06

リンク

数百サイトがFirebaseのセキュリティルール設定を誤って合計1億2500万件の機密情報が公開されてしまっていた

Firebaseのセキュリティルールの設定を誤っていることが原因で数百のサイトが平文パスワードや機密情報を含む合計1億2500万件のレコードを公開してしまっているとセキュリティエンジニアの「Logykk」「mrbruh」「xyzeva」という3人がブログに投稿しました。 900 Sites, 125 million accounts, 1 vulnerability - env.fail https://env.fail/posts/firewreck-1/ セキュリティエンジニアの3人はChattr.aiというサービスでFirebaseの設定が間違っていることを発見しました。Chatter.aiではウェブサイト上の正規ルートで登録するとアカウントの権利が適切に制限されるものの、FirebaseのAPIを直接使用してアカウントを作成するとFirebase上のデータベース全てに対する権限が取

hobbiel55 2024/05/05

リンク

WEB+DB PRESS総集編［Vol.1～136］

2024年4月18日紙版発売 WEB+DB PRESS編集部　編 B5判／128ページ定価3,300円︵本体3,000円＋税10%︶ ISBN 978-4-297-14156-1 Gihyo Direct Amazon 楽天ブックスヨドバシ.com ﹃WEB+DB PRESS﹄全号のバックナンバーを収録 Webアプリケーション開発のためのプログラミング技術情報誌﹁WEB+DB PRESS﹂は，2000年から2023年までの23年間という長きにわたり，現場で活躍するWeb開発者の方々に向けた技術情報を提供してまいりました。そして2023年8月発売のVol.136をもって，隔月刊誌としては休刊いたしました。本総集編には，WEB+DB PRESSVol.1から隔月刊最終号となるVol.136までのバックナンバーと，今まで刊行した総集編7冊の書き下ろし記事を収録しています。1冊1ファイルの記

hobbiel55 2024/04/09

リンク

国土交通省が新サイト「不動産情報ライブラリ」を無料公開、早くも神サイトと評判【やじうまWatch】

hobbiel55 2024/04/03

リンク

Google、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版に。ローカルで実行できるソフトウェア版も提供

Google Cloudは、PostgreSQL互換のAlloyDBにAI機能を組み込んだ﹁AlloyDB AI﹂正式版を提供開始した。データベースのデータをリアルタイムにAIに反映できる高速なベクトル検索などが可能だ。 Google Cloudは、PostgreSQL互換のデータベース﹁AlloyDB﹂にAI機能を組み込んだ新機能﹁AlloyDB AI﹂が正式版となったことを発表しました。 AlloyDBはGoogle Cloudのマネージドサービスとして提供されますが、同時に、AlloyDBをローカル環境で実行可能なソフトウェア版の﹁AlloyDB Omni﹂でもAlloyDB AIが正式版となりました。 AlloyDB Omniは開発環境などでの利用は無料です。本番環境の利用では有料のサブスクリプション料金が設定されており、Google Cloudによるサポートが提供されます。企業

hobbiel55 2024/03/07

リンク

リレーショナル・データベースの世界

序文私の仕事は、DB エンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。﹁Web系は花形、データベースは日陰﹂という言葉も囁かれていました。今でも囁かれているかもしれません。ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。今でこそバイブルと仰ぐ﹃プログラマのためのSQL 第2版﹄も新入社員には敷居が高すぎました (2015年2月追記‥その後、自分で第4版を訳出できたのだから、人生は何があるか分からないものです)。そこで、です。このサイトの目的は、データベースの世界に足を踏み

hobbiel55 2024/02/29

リンク

データベースを勉強したいあなたに送る技術書17冊(+11冊1講義7link)

これはなにども、レバテック開発部のもりたです。最近めっちゃ元気！！今回は﹃データベースについて勉強したいあなたに送る技術書17冊(+11冊1講義7link)﹄として、もりたがここ半年くらいでわーっと集めたデータベース周りの書籍︵とか︶を紹介していきます。アプリケーションって結局はデータベースみたいなところがあると思うんですが、おれは長いことデータベースをどう学んだら良いのか分かりませんでした。同じような気持ちを抱えているIT エンジニアの人もいると思うので、学習ロードマップと合わせて紹介していきます。なお具体的な対象読者は業務でなんとなくSQL書いてるけど、ウィンドウ関数とか言われると分からんな……くらいの人です。扱う領域と扱わない領域扱う領域としてはだいたい以下再入門本 SQL 内部構造論理設計周辺知識データベース理論その他高度なものモデリング、NoSQL、分散データ

hobbiel55 2024/02/12

リンク

オープンデータ活用術・完全版【第1章】①国の事業や支出先を調べる｜一般社団法人デジタル・ジャーナリスト育成機構(D-JEDI)

文‥D-JEDI理事　熊田安伸拙著﹃記者のためのオープンデータ活用ハンドブック﹄は、おかげさまで第一刷が完売し、現在増刷中です。ただ、ページ数の都合で当初の想定より図版や事例など内容を大幅に縮小せざるを得ませんでした。さらに、紹介したネット上のツールはどんどん更新されるので、本というスタイルでは対応しきれません。そこでD-JEDIの会員向けに、改めて﹁完全版﹂を連載することにいたしました。今後、月1～2回をめどに発信︵全30回ぐらい？︶私自身も研究しながら手探りでやりますので、﹁ツールのカタログ﹂だと思って気軽にお使いください。まずは国の事業が適切に行われているかどうか、予算やその執行、事業内容について調べたいときに使えるオープンデータの入手方法を紹介していきます。 2012年に放送された﹁NHKスペシャルシリーズ東日本大震災﹃追跡復興予算19兆円﹄﹂は、増税によって賄われた復興予

hobbiel55 2024/02/03

リンク

BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか？とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB？！いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL･Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ

hobbiel55 2024/01/29

「LIMITを書いてもフルスキャンしたあとにフィルタリングするだけでスキャンデータ量に効果はない」「WHEREについても同様」309TBスキャンするだけで29万円稼げる商売と考えるといいな。

リンク

型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog

SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施したアップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった型キャストの場所には気をつけようPostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。私の担当している届出書類機能では、利用中のPostgre

hobbiel55 2024/01/18

リンク

DBアーキテクチャの比較と選択

Database Engineering Meetup #1 DBアーキテクチャの比較と選択 Cloud-native storage service for bulk load & random lookup workload https://scalar.connpass.com/event/298887/

hobbiel55 2023/12/21

リンク

“経済失速”が叫ばれる中国相次ぐデータ公表停止の謎 | NHK | WEB特集

経済の動向をみる上で欠かせない統計データ。中国では、過去最悪となっていた若者の失業率が7月分から公表停止になるなど、不都合ともいえるデータの更新が止まっている。実際に、どのくらいの数が止まっているのか。今回、番組取材班が徹底調査。すると、習近平氏が国家主席に就任した2013年以降、さまざまなデータの更新が止まっていることが判明した。独自検証で見えてきた、中国統計データの実態とは――。︵NHKスペシャルシリーズ調査報道・新世紀File1 中国“経済失速”の真実取材班︶取材班はまず、中国の国家統計局が発表する統計データを調べてみた。中国は景気回復の勢いが鈍化し、若者の間で雇用に対する不安が広がっている。2018年から発表されてきた年齢別の失業率は、都市部の16～24歳が今年6月に過去最悪を記録するなどして、注目を集めていた。しかし、国家統計局は8月、﹁年齢層別の失業率については、

hobbiel55 2023/11/18

リンク

ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］

ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？﹇PR﹈日常的に多数の同時アクセスが発生し、大量のデータが蓄積されるオンラインゲームのバックエンドは、データベースにとってもっとも過酷な環境の1つだといえます。このバックエンドデータベースとしてよく使われているのがMySQLデータベースです。しかしその使われ方は一般的なMySQLとは異なり、データベースを細かく分割して多数のサーバに負荷を分散するシャーディングと呼ばれる仕組みを構築するなど、複雑なシステム構築と運用が行われているのが現実です。そこで急速に注目度を高めているのが、MySQL互換でありつつ分散データベースの機能を備え、シンプルなクラスタ構成で高い負荷に耐える、いわゆる﹁NewSQL﹂と呼ばれる分野の代表的なデータベースの1

hobbiel55 2023/11/14

リンク

名古屋大学、明治19年から平成29年までの法令を全文検索できる「法令データベース」を公開

2023年11月2日、名古屋大学大学院法学研究科の佐野智也講師らの研究グループが、明治19︵1886︶年から平成29︵2017︶年までに公布された法律と勅令を全文検索できるデータベース﹁法令データベース﹂を公開したと発表しました。プレスリリースによると、同データベースでは、近代法体系が定められた明治19年からe-Gov法令検索の運用が開始された平成29年までに公布された法律と勅令を対象とした、全文検索や法令本文の閲覧、関連情報の確認などが可能です。現在有効な法令を対象とするe-Gov法令検索では検索できない過去の法令データを提供するものであり、これを補完する意味を持つとしています。 News過去の一覧︵日本研究のための歴史情報︶ https://jahis.law.nagoya-u.ac.jp/news ※2023年11月2日付けで﹁法令データベースの公開にあたり、名古屋大学からプレス

hobbiel55 2023/11/07

リンク

無料で学ぶ『達人に学ぶSQL徹底指南書第1版』 - Qiita

はじめに『達人に学ぶSQL徹底指南書第1版』は、CodeZine連載とミック氏ウェブサイトの掲載記事をもとに、加筆・編集されたものです。 CodeZine連載、および、ミック氏ウェブサイトは、どちらもオンラインの無料公開コンテンツです。今回、「書籍と元コンテンツの対応表」を作成しました。書籍のために書き下ろされた一部コンテンツや演習問題は見れませんが、その一方、編集で割愛された内容などが含まれるので、書籍以上のことを学べる箇所もあります。すでに新版『達人に学ぶSQL徹底指南書第2版』が出ていますが、各テーマは第1版でも大きく変わっておらず、現在でも通用する基本的で面白い内容なので、一見の価値はあると思います。書籍と元コンテンツの対応表 No. 目次 CodeZine連載ミック氏ウェブサイトテーブル定義サポートページ

hobbiel55 2023/11/04

リンク

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「Hyperdrive」のオープンベータを開始したと発表しました。 Want to make the existing regional database in your legacy cloud provider much, much faster? We've just launched Hyperdrive, which dramatically speeds up queries you make to databases you already ha

hobbiel55 2023/10/11

cdn
database

リンク

はてなブックマーク

タグ

関連タグで絞り込む (79)

databaseに関するhobbiel55のブックマーク (100)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第5週）

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス