SQL ServerのCDCを用いた加熱商品の販売イベントにおける負荷軽減の取り組み - ZOZO TECH BLOG
こんにちは、SRE部の廣瀬です。 本記事では、ZOZOTOWNでカートに商品を入れる際に使われているデータベース群の内、SQL Server（以降、カートDBと呼ぶ）にフォーカスします。ZOZOTOWNでは数年前から、人気の商品（以降、加熱商品と呼ぶ）が発売された際、カートDBがボトルネックとなる問題を抱えています。様々な負荷軽減の取り組みを通じて状況は劇的に改善されていますが、未だに完璧な課題解決には至っていません。 そこで今回は、加熱商品の発売イベントにおける負荷軽減の取り組みを振り返ります。また、直近の取り組みとして、SQL ServerのCDCを用いた新たな負荷軽減の検証内容をご紹介します。 背景 - カートDBのボトルネックについて 加熱商品の発売イベントに関する対策について、最初に言及した記事としては以下が挙げられます。この記事では人気の福袋商品を加熱商品として紹介していますが
概要 私は株式会社ZUUで、主にバックエンドの開発を担当しており、フロントエンド、インフラに関する業務も担当しています。 今回取り上げる内容は、SQLの書き方一つでパフォーマンスがどれだけ改善できるかを、実例をもとに記述していきます。 シナリオ 使用しているDBMSはPostgreSQL12です。 話を単純化するために単純な例で説明します。今回は投稿記事を管理するケースを想定します。投稿される記事には複数の画像が載っており、全ての画像がアップロード完了していれば記事として有効なものと考えます。 テーブルはarticles, imagesを用意します。 実際にデータを入れてみるとこんな感じ。 articles id title published_at
一般ユーザー向けの大規模なWebサイトや、モダンWeb上で動作するWebアプリケーションを運営する場合、CDNなどのキャッシングサービスによって静的コンテンツをキャッシュすることが極めて重要です。 しかしこうしたサービスは、非常に複雑で分かりにくいものです。 幸い、IETF（Internet Engineering Task Force）のHTTPワーキンググループがこの状況を改善すべく、HTTPの新標準策定に取り組んでいます。 最近、同ワーキンググループでは、キャッシングのデバッグとキャッシュ設定の管理を容易にすることを目的とした、HTTPヘッダに関する2つの新標準案の発表に向けて活発な動きがありました。 このことが何を意味し、どのように機能するのか、そしてWeb制作に携わる開発者全てがなぜ注目すべきなのかについて見ていきます。 新標準 この記事で取り上げる標準案は以下の2つです。 Ca
サイバーエージェントが公開した“300ページ級のUnity技術書”がスゴい！しかも誰でも無料で読める｜Unity Japan（ユニティ・テクノロジーズ・ジャパン）
バックエンドの設定、データベースのチューニング、あるいはワンライナーを駆使したトラブルシューティングなど、一芸に秀でたエンジニアならばあなたの周りのさまざまな分野で活躍しているでしょう。ただ、こうした要素すべてを網羅できるエンジニアとなると、そう多くはないはずです。そんなエンジニアとしての総合能力を競うイベント「RECRUIT ISUCON 2022」が、2022年7月8日に開催されました。新型コロナ感染症のリスクを考慮し、2年連続でオンライン形式で実施されることになりましたが、社内からは28チーム、のべ71名が参加しました。その模様を紹介します。 老舗の社内ISUCONとして、スキルアップとモチベーションアップ、ネットワーキングの場を提供 エンジニアの方ならば、「いい感じにスピードアップコンテスト」、略して「ISUCON※」というイベントについて聞いたことのある人も多いでしょう。お題とし
【無料公開】社内研修書籍『Unity パフォーマンスチューニングバイブル』のPDF公開&オープンソース化しました！ | CyberAgent Developers Blog
【無料公開】社内研修書籍『Unity パフォーマンスチューニングバイブル』のPDF公開&オープンソース化しました！ ゲーム・エンターテイメント事業部では、社内研修用の書籍『Unity パフォーマンスチューニングバイブル』のPDFを公開し、同時にオープンソース化しました。 本記事ではこの書籍の概要とダウンロード方法、オープンソース化とその意図についてご紹介します。 Unity Performance Tuning Bible はじめに モバイルゲーム開発においてパフォーマンスチューニングは重要ですが、その一方で、必要な知識が幅広く、体系的な学習が難しいという問題があります。 ゲーム・エンターテイメント事業部ではこのような課題感から、パフォーマンスチューニングに関する知識を体系的にまとめた書籍として、『Unity パフォーマンスチューニングバイブル』を製作し、社内の Unity エンジニアの方
GitHub - CyberAgentGameEntertainment/UnityPerformanceTuningBible: Unity Performance Tuning knowledge book
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
クラウドネイティブ環境におけるJavaチューニングの進め方 〜 20,000rpsをさばく超PayPay祭の事例
Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！エンジニアの福間（fkm_y）です。 弊社でデータベースの技術顧問をして頂いている三谷（mita2）さんに、MySQL5.7の追加機能についての開発部向け勉強会を実施いただきましたのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しており、3月にもMySQLロックの基礎編の勉強会を開催しました。 ANDPADでは、今年の4月にAurora MySQLをVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップを実施しました。 tech.andpad.co.jp Aurora MySQL Ver.2 になることで使えるようになった、MySQL5.7で追加された機能について開発者に知ってもらい、普段の開発に取り入れてもらうためにMySQL5.7の勉強会を開催することとしました。 今回は追加された150以上の新機能
Flutter Performance Optimization Techniques - Aglowid IT Solutions
Quick Summary: Flutter Performance Optimization is critical for every application, influenced by several factors. In most cases, the Flutter application’s performance is sufficient, and you won’t need to optimize it unless you run into a problem. However, many people have concerns and queries about improving the performance of a Flutter application. Flutter, as previously stated, already performs
吉祥寺.pm30 で、チューニングがテーマだったので、マネージャとメンバー間で期待値をチューニングするという LT をしてきた。 トークタイトルは熊とワルツを。トム・デマルコの本です。 熊とワルツを リスクを愉しむプロジェクト管理 作者:トム デマルコ,ティモシー リスター日経BPAmazon 「管理」という言葉 「管理」と訳される単語は色々ある goo 和英辞書 によると 〔経営〕management 〔経営，運営〕administration 〔統制〕control 〔監督〕supervision 英辞郎 on the WEB によると administration〔【略】admin. ; adm.〕 caretaking（建物・土地などの） caretaking〈英〉（学校などの公共施設の） charge conduct（業務などの） control custody（大事な物の） d
Unityのパフォーマンスチューニングを体系的に学べる書籍『Unity Performance Tuning Bible』刊行による社内技術力強化施策の紹介 | CyberAgent Developers Blog
Unityのパフォーマンスチューニングを体系的に学べる書籍『Unity Performance Tuning Bible』刊行による社内技術力強化施策の紹介 ゲーム・エンターテイメント事業部では、Unityにおけるパフォーマンスチューニングに必要な知識を体系的にまとめた書籍『Unity パフォーマンスチューニングバイブル』を社内向けに刊行しました。 本記事ではこの取り組みの概要と、300ページに及ぶ書籍の一部を紹介します。 パフォーマンスチューニングバイブルの概要 モバイルゲーム開発においては、常にパフォーマンスを意識した開発を行う必要があります。 これが不十分だと、メモリ圧迫によるクラッシュやFPSの低下、ロード時間やダウンロード時間の増大といった深刻な問題がもたらされます。 このようにパフォーマンスチューニングに関する知識は重要ですが、その一方で体系的な学習が難しいという問題があります
ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCON12 予選の解説 (Node.jsでSQLiteのまま10万点行く方法) こんにちは、面白法人カヤックのacidlemonです。例年ISUCONに参加するたびにとても長い「やったこと」ブログを書いているので、もしかしたらそちらを読んだことがある人もいるかもしれません。 ISUCONの公式サイトに記事を書くのは ISUCON3の予選の解説 以来でしょうか。今回もacidlemonが解説、fujiwaraが講評を書く予定ですので、お楽しみに。あ、そういえば先日掲載していただいた 面白法人カヤックからの応援メッセージ の脳内インタビューも私が書いていますのでよく考えたらそれ以来ということになるのかもしれません。予選
概要 データベースの性能検証によく利用されるTPC-HとTPC-DSをざっくり整理する。 TPCとは TPCとは、Transaction Processing Performance Councilの略であり、トランザクション処理性能評議会である。データベースのトランザクション性能検証を作成・検証を目的とした団体である。複数の性能検証ベンチマークがあり、TPC-E、TPC-H等が有名である。 TPCのテスト一覧 TPCのActive Benchmarksには下記のものがあり、TPC-HとTPC-DSはそのうちの１つのベンチマークである。 Benchmark/Document Current Version Specification Source Code
ブログの表示、高速になったかな？
シンプルな構成により爆速で表示されることで有名な阿部寛のホームページですが、さまざまな技術を駆使してさらに35％の高速化を実現した動画が人気です。ぜひ本家サイトでも取り入れてほしい改善策。 まだ高速化の余地が……!? この動画を公開したのは、コスメティック田中さん（YouTube／Twitter）。動画によると、阿部寛のホームページがホームページビルダーというやや古いソフトで作られているなど、近代的な技術を駆使すれば改善できる余地が見られることを発見し、高速化に乗り出したそうです。 今回実施する高速化 この2点を改善していきます 最初に実施した高速化は、サイトの通信速度の改善から。CDNという技術で通信速度を上げる技術を使用するため、AmazonのCloudFrontにファイルをそのままアップロードして、コピーの阿部寛のホームページを作成しました。 ファイルをアップロードします このCDN
こんにちは、@oribeです。 もうすぐISUCONの季節ということで、traP内では部内ISUCON(PISCON)を開催しています。 PISCONに参加してみたもののどう取り組んでいいかわからない、というISUCON初参加のメンバーに向けて講習会を開催しました。 ISUCONについてのwriteupや解説記事は多く公開されていますが、Web開発やインフラの初学者向けに丁寧に解説したものは少ないと思われます。 そういった「ISUCONを通してこれからWeb開発やインフラの知識を身につけていく人たち」の踏み台となれば、と考え講習会の資料・アーカイブを公開することにしました。 前半でISUCONの参加準備についての座学を行い、後半ではハンズオン形式で計測ツールの使用や改善を行っています。 対象 ISUCONに初めて参加する人 Web開発やインフラを勉強し始めたばかりの人 traP内で例年開催
【C#】ループの最適化手法 ②List<T>編 ～List<T>はSpan<T>化すると数倍早い～ - Qiita
List<T> のしくみ 以下の説明で、List<T> というか可変長の配列リストというものがどういう仕組みなのか知っていないと困るので簡単に説明します。知っている人は読み飛ばしてください。 List<T> クラスは配列をフィールドとして保持しており、これが List<T> の中身です。そして、要素を追加するときにこの配列を拡張します。 ただし、拡張するとはいっても配列の長さを伸ばすことはできません。実際には、より長い新しい配列を確保して、もともとの配列から要素をすべてコピーして再代入しています。 ここで問題になるのがこの拡張操作のコストです。長さが n のとき、長さ 2n の配列を確保して n 個の要素をコピーするので、これは計算量が O(n) の操作になります。 要素を追加するたびに O(n) かかるとたまったものではないので、ある程度まとめて拡張することを考えます。 ここで、「足りな
【Unity】Unityプロジェクトをあらゆる観点から静的解析してくれる公式ツール『Project Auditor』の使い方まとめ - LIGHT11
Unityプロジェクトをあらゆる観点から静的解析してくれる公式ツール『Project Auditor』の使い方をまとめました はじめに インストール 基本的な使い方 解析実行フロー ビルドレポートを見る場合 スクリプトから実行する 各解析項目の説明 Code > Diagnostics Code > Assemblies Code > C# Compiler Messages Assets > Resources Assets > Shaders Assets > Shader Variants Settings > Diagnostics Build Report > Steps Build Report > Size 参考 Unity 2021.3.0f1 Project Auditor 0.8.1-preview はじめに Project Auditor を使うと Unity プロジ
ここ最近MacBookProでVSCodeを開くだけでCode HelperがCPUをかなり使い、コードを書くのもカクカクで仕事にならない状態になりました。 ネットで情報を探ったところ、MacでCode HelperがCPUを使いすぎる問題はよくあるようです。 そこで今回はVSCodeが重いときの原因特定方法、解決手段を共有します。 原因の種別を特定する まずはターミナルで以下のコマンドを入力します。 code --status すると以下のようにVSCodeがどこでCPUやメモリを使っているか表示されます。 （一部省略） CPU % Mem MB PID Process 0 164 8402 code main 0 66 8405 gpu-process 0 33 8411 utility-network-service 0 360 8412 window (xxx) 72 197 84
SUZURI のセールとテレビ CM を乗り越えるために負荷試験を実施しました - Pepabo Tech Portal
Ruby 3.1.2 with YJIT vs Ruby 3.2.0-dev with YJIT - くりにっき
tl;dr; モチベーション Ruby 3.2.0-devの何がすごいか Ruby 3.2.0-devでRust版のYJITを使う方法 計測対象のアプリケーション 使ったバージョン 比較 CPU ホスト全体 Ruby 3.1.2 + YJIT Ruby 3.2.0-dev + YJIT pumaのmasterプロセスとworkerプロセスをピックアップ Ruby 3.1.2 + YJIT Ruby 3.2.0-dev + YJIT Memory ホスト全体 Ruby 3.1.2 + YJIT Ruby 3.2.0-dev + YJIT pumaのmasterプロセスとworkerプロセスをピックアップ Ruby 3.1.2 + YJIT Ruby 3.2.0-dev + YJIT Ruby 3.2.0-devをデプロイした瞬間のグラフ スコア Ruby 3.1.2 + YJIT Ruby
【Nginx】ちょっと時間を掛けてチューニングしてみた。
Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
こんにちは、DevBrandingのellyです。5月20日に配信した「AWSコスト倍になっちゃった！〜削減への道のり〜」の様子をご紹介します。 今回はITストラテジーチームとSREチームから2人のゲストを招いて、freeeで実際に起きたAWSコスト増加の事例をもとに、気がつけば増えるインフラ費用の無駄をどのように見つけ、コスト削減していったのか、実話のストーリーを話してもらいました。 登壇者集合写真 miry:写真左上。2015年入社。ITストラテジー。全社のITツールのコスト管理やIT戦略の策定を担当。 nakagawa:写真右上。2020年5月入社。SREチームエンジニア。基盤の更改やクラスタ管理効率化を担当。 のぶじゃす (@noblejasper): 写真右下。ラジオパーソナリティ、2017年に中途入社。mixi、ソーシャルゲーム企業でソフトウェアエンジニアを経験し freee
どういうことか たとえば created_at が最も新しいレコード 1 件だけ取ってきたいとか、成績のよいレコード上位 5 件を取ってきたいといったとき、よくある方法として RANK() や ROW_NUMBER() のような番号付け関数を使う方法が思い浮かぶと思いますが、BigQuery ではこれらの関数ではなく ARRAY_AGG() 集計分析関数を使うことが推奨されています。 先に結論を ARRAY_AGG() を使うことでクエリの計算を最適化でき、スロット使用量（計算量）が少なく済みます。スロット使用量の上限を定めている場合、非効率なクエリがいくつも実行されるとキューイングされる可能性があるため理由がなければ ARRAY_AGG() を使いましょう。 ドキュメントによれば ORDER BY 句が各 GROUP BY 句のトップレコードを除くすべてを捨てることができるため効率がいい
04 May, 2022 Subscribe to my blog via email or RSS feed. Humans have a shit sense of measurement, especially for quantities that they can't biologically perceive. For example, you intuitively know how much more heavy a 10kg object is than a 1kg object. For such quantities, your sense of measurement can improve if you have some way to translate them into signals that the brain is familiar with. For
書評: ISUCONを「ゴール」で終わらせない。『達人が教えるWebパフォーマンスチューニング ～ISUCONから学ぶ高速化の実践』 - その手の平は尻もつかめるさ
今回の記事は、パフォーマンスチューニングの観点と仕組みを理解することに主眼を置いています。具体的な対処方法についてはシステムによって異なるため、マニュアルの確認や、各種チューニングサービスのご利用をご検討ください。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 本記事の構成 本記事「パフォーマンスチューニング9つの技」は以下4つの記事から構成されています。他の記事も併せてご覧ください。 パフォーマンスチューニング9つの技 ～はじめに～ パフォーマンスチューニング9つの技 ～「書き」について～（本記事） パフォーマンスチューニング9つの技 ～「探し」について～ パフォーマンスチューニング9つの技 ～「基盤」について～ 1. パフォーマンスチューニングの「書き」とは 一般的にデータベースは、大量データを扱い、大量の問い合わせや更新を高速に処理し、さらに障害発生
書籍「達人が教えるWebパフォーマンスチューニング」はチューニングの考え方を教えてくれる良本 - Gマイナー志向
これは何 以下記事のアンサーブログです。 qiita.com 以下のことはコメントに書いたんですが、書ききれなかった部分もあったり整理したほうがいいなと思い記事に起こしています。 現代のアプリケーションではC10K問題よりも先にDBやアプリケーションのボトルネックが先に来るため、C10K問題に遭遇するよりも先にやることがある ミドルウェアとしての成り立ちから設定ファイルの書き方に至るまで、それぞれのソフトウェアで思想が根本的に異なるので、単なるパフォーマンス比較をしてもあまり意味がない NginxとApacheの違いをC10K問題を中心に語るのは時代が違う この記事に限らず、多くの「Nginx vs Apache」系記事では「ApacheはC10K問題を抱えている」という論理をベースにそれぞれの違いを表現しています。 が、これは2022年においては(実際にはもっと前からですが)既に事実では
Why does this code execute more slowly after strength-reducing multiplications to loop-carried additions?
I was reading Agner Fog's optimization manuals, and I came across this example: double data[LEN]; void compute() { const double A = 1.1, B = 2.2, C = 3.3; int i; for(i=0; i<LEN; i++) { data[i] = A*i*i + B*i + C; } } Agner indicates that there's a way to optimize this code - by realizing that the loop can avoid using costly multiplications, and instead use the "deltas" that are applied per iteratio
はじめに 普段はスタートアップでBtoB SaaSの開発をしているtaroと申します。 今回は、Reactのmemo化について考えている中で抱いた 「なんでReactは標準でComponentをmemo化していないんだろう？」 という疑問を解消するために、色々と調べたり考えたりした内容をまとめました！ 途中でrenderのタイミングや、memo化で再renderが抑えられる理由などの前提知識の復習も含めていて、memo化について詳しくない方もmemo化の勉強にもなると思うので、ぜひぜひ読んでみてくださいー！ なぜこんな疑問を抱いたのか？ まずはそもそも僕がタイトルにあるような疑問を抱いた背景です。 疑問を抱くまでの思考プロセスはこんな感じです。 「再renderが余分に走ってて画面が重いから最適化したいなー」 →「React.memo()を使ってComponentをmemo化しよう！」 →
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL改善で処理時間を約98%カットできた話 - Qiita
モダンWebにおけるキャッシングのための新HTTP標準 | POSTD
マイクロサービスも登場、趣向を凝らした「RECRUIT ISUCON 2022」に挑んだ一日
Serving Netflix Video Traffic at 400Gb/s and Beyond
期待値をチューニングする - id:onk のはてなブログ
ISUCON12 予選の解説 (Node.jsでSQLiteのまま10万点行く方法) : ISUCON公式Blog
データベースの性能検証に利用されるTPC-HとTPC-DSに関するざっくりとした整理 - Qiita
阿部寛のホームページをさらに高速化した猛者現る 35％の高速化に成功し速度制限未満でも一瞬で表示可能に
Reactに有利なベンチマークを作ってみた 【ハードモード】 - Qiita
「轢き殺し」パフォーマンスのあったブルドーザーデモ（2014）、『関与』や『支持』を巡って議論
ISUCON初心者向け講習会を開催しました
VSCodeのCodeHelperのCPU使用率が異様に高いときの対処法 - Qiita
【ゲーム別GPU性能総比較】 「フォートナイト」をGPU 21種類で性能検証！
AWSコスト倍になっちゃった！〜削減への道のり〜 - freee Developers Hub
BigQuery で ROW_NUMBER(), RANK() を使うな！
⚡️ The computers are fast, but you don't know it
パフォーマンスチューニング9つの技 ～「書き」について～｜PostgreSQLインサイド
#ISUCON本 こと「達人が教えるWebパフォーマンスチューニング」について - uzullaがブログ
Re: NginxとApacheって何が違うの？？ - inductor's blog
Cloudflare を使ったキャッシュの基礎 - 30歳からのプログラミング
なぜReactは標準でComponentをmemo化しないのか？
パフォーマンス観点でみる Next.js の getLayout