背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
近似近傍探索のチューニングで気をつけること
AIがゲーム攻略情報でプレイをお助け？ PCのチューニングまで面倒を見てくれる「Project G-Assist」は何ができるのか
2024/5/25 第34回 中国地方DB勉強会 in 広島
Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング | BLOG - DeNA Engineering
これはなに ども、レバテック開発部のもりたです。 タイトルの通りなんですが、SQLチューニングってつまり宣言型言語でリファクタリングするってことだよね、というのを書きます。なお具体的なリファクタの方法とか実行計画の読み方とかはスコープ外です（別で書く予定）。 SQLチューニングはリファクタリング まずSQLチューニングというと、パフォーマンス改善みたいな意味合いが強いと思います。ただ、SQLチューニングは本質的にはリファクタリング的な行為であるはずです。リファクタリングの定義を確認すると、 リファクタリングとは、ソフトウェアの外部の振る舞いを保ったままで、内部の構造を改善していく作業を指します。 引用元: 『リファクタリング 既存のコードを安全に改善する 第2版』 雑にいえば、結果を変えないでコードを改善することです。ここでいう改善とは内部品質を向上させることで、例えば保守容易性であったり
はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。 そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？ そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。 データマートの目的と要件の明確化データマートには様々な用途がありますが、いずれの場合も最初に重要なのは、そのデータマートの目的と要件を明らかにすることです。例えば、単なる可視化(ダッシュボード)用なのか、多次元分析用なのか、アプリケーションへの組み込み用なのかです。 目的に応じて、モデリングアプローチ、データ粒度、スキーマ設計は全く異なってきます。さらに、リアルタイム性、セキュリティ、パフォーマンスなど、様々な要件の
Amazon PollyのSSMLを利用し、住所を自然な日本語の発音になるようチューニングしてみた | DevelopersIO
はじめに Amazon Pollyは、深層学習を使用したテキスト読み上げサービスで、SSML (Speech Synthesis Markup Language)タグを使うことで、音声の様々な側面をカスタマイズできます。例えば、発音、話速、ピッチ、ボリューム、一時停止の長さなどを調整可能です。 Amazon Connectでは、音声出力にAmazon Pollyが採用されております。 しかし、住所名を読み上げる際に不自然な発音になることがあったため、SSMLを利用して自然な日本語の発音となるようチューニングを行いました。 今回は、以下の架空の住所を例に、SSMLタグを使ってどのように発音をカスタマイズできるかを解説します。 沖縄県宜野湾市真志喜1-1-1 アパート真志喜301号室 この住所を読み上げエンジンのニューラルタイプで発音させると、以下のようになります。ニューラルタイプは標準エンジ
LINEヤフーはDB自動チューニング術を紹介――「KubeCon」で気になった最新のKubernetes×データベース運用ノウハウ
LINEヤフーはDB自動チューニング術を紹介――「KubeCon」で気になった最新のKubernetes×データベース運用ノウハウ：「KubeCon＋CloudNativeCon North America 2023」レポート 「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介していきます。今回は「KubeCon＋CloudNativeCon North America 2023」で気になった内容をお届けします。 「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介する本連載。前回はNewSQLの一つである「YugabyteDB」のユーザーによるラウンドテーブルの様子をお届けしました。国内市場でもクラウドネイティブな新しい
安くなってきた中古ゲーミングノートPCを使いローカル生成AIのStable-Diffusion ForgeをCUDAでチューニングしてみた。FP8＋LCM Turbo＋HyperTileで3.8秒〜15.4秒/枚とそこそこ高速。CPU対比5倍速。古いGPUでもオススメ
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 という事で中古ゲーミングノートブックPC＋CUDA＋Stable-Diffusion Forge＋FP8＋LCM Turbo＋HyperTileで1024x512が7.6秒/枚 Model Memory (MB) = 819.7106971740723 Minimal Inference Memory (MB) = 1024.0 贅沢を言わなければ世代遅れマシンでも十分使える。 CPUと比べて5倍速程度だけど pic.twitter.com/IDI9ICJq8Z 2024-03-24 11:19:13
はじめに MySQL(InnoDB)でSQLのパフォーマンスチューニングをするときに役に立つ知識をエッセンスとしてまとめました。結合(JOIN)やB-treeインデックスの探索の仕組み、実行計画の基本的な見方を紹介します。 想定する読者は、SQLのパフォーマンスを改善する必要があるが実行計画をみてもいまいちピンと来ない方です。インデックスの作成の経験や、複合インデックスやカーディナリティの知識があることを前提にしています。目標は、実行計画の内容がよく分からない読者が、実行計画をみただけでクエリが実行される様子をイメージでき、自信を持ってクエリの改善にあたることができるようにすることです。 ストレージエンジンはInnoDBを前提としています。また、インデックスはB-treeインデックスを想定しています。全文検索の転置インデックスや空間検索のR-treeインデックスについては触れません。 イン
![[fujiwara氏✖️そーだい氏]実例をもとにしたWebパフォーマンスチューニングの読み解き方 | Offers Magazine](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e5d6f52ca7949e6678f2d2705cb077f412c143c/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fassets.offers.jp%2Fmedia%2Fwp-content%2Fuploads%2F2024%2F03%2F04170040%2Freport_WebPerformanceTuning.png)
WebアプリケーションのUIの表現はどんどんリッチになってきています。しかしその一方でブラウザ上での描画の負荷は増大し、時としてスムーズに動かず体験を損ねることもあります。ユーザーにとって使い心地の良いUI体験はフロントエンドのパフォーマンスチューニングに大きく委ねられていると言えるでしょう。 スタートアップ開発を支援する株式会社Gaji-Laboでは、サービスの価値に直結するエンドユーザーの体験向上のため、快適なUIを提供する事をとても大切にしています。 この記事では、快適に動くUIを作るため、フロントエンドフレームワークのマジョリティであるReactとどう付き合っていくべきかを考えていきましょう。 Reactの仕事を理解するまず、Reactがどんな仕事をしているのかを理解するところからはじめましょう。Reactの主な仕事はUIを描画すること、そして必要に応じてそれを再描画することです。
v1.1 チューニング済みモデル・データ公開
目次 はじめに LLM-jp-13B とは インストラクションチューニング データセット 入力プロンプト 比較実験の設定 ハイパーパラメータ 学習 評価 DPO データセット 入力プロンプト ハイパーパラメータ 学習 評価 おわりに はじめに 京都大学 言語メディア研究室の児玉（個人ページ，X アカウント）です． LLM-jp では 2023年10月20日に LLM-jp-13B v1.0 を公開しました． 当時事前学習済みモデルとチューニング済みモデルの両方を公開しましたが，チューニング済みモデルについては時間上の制約もあり，十分に性能を高めることができていませんでした． 今回はインストラクションチューニングの設定の見直しや DPO (Direct Preference Optimization) の追加によって，性能を改善したチューニング済みモデル v1.1 とその際に使用したデータと
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」でプロダクトマネージャーを担当している原田と申します。 「ビズリーチ」は、採用企業様、ヘッドハンター様、求職者様それぞれに特化した機能を提供しています。私はこのうち採用企業様向けの領域を担当しております。 この記事では、採用企業様向け領域において、機能、利用者、データ等の急速な拡大に比して顕在化する「表示速度・処理速度上の問題」を解決するために、クロスファンクショナルなチームが協力しあい、本質的な課題に優先度をつけ、大きな改善を果たしたプロセスをご紹介します。 背景 | 「表示速度」の課題 「ビズリーチ」は累計27,000社以上の企業様に導入いただいており（2023年10月末時点）、急成長を続けています。 これに伴い、データ量の増加とシステムの負荷が増大しており、お客様からのフィードバックと自らが利用した経験を通じて、この「表示速度が遅い」と
どうもお疲れ様です。MESIです。 フロントエンドのパフォーマンスチューニング手法の一つとしてJavaScriptを非同期で読み込むことを学んだので忘備録として残します。 なぜ非同期で読み込む必要があるのか？ 主な理由としてレンダリング時のブロックを回避するためにJavaScriptを非同期で読み込む必要があります。 レンダリングブロックについて 通常、ブラウザはHTMLを上から下へと解析し、表示していきます。 しかし、JavaScriptファイルが同期的に読み込まれる（<script>タグのデフォルトの挙動）と、ブラウザはそのファイルのダウンロードと実行が完了するまでHTMLの解析を停止します。 これによりページのレンダリングが遅れ、ユーザーがページの内容を見るまでの時間が長くなります。 そこで非同期読み込みの出番です。 非同期でJavaScriptを読み込む（asyncまたはdefer
ZennサイトのUIにおいて、角丸のチューニングを行い、その大きな目的としては、前回のエレベーションのチューニングと同様にユーザー体験の向上を図りました。本稿では、実施した角丸のチューニングがどのようにユーザー体験向上に貢献するかについて解説し、さらにCSS変数の調整による柔軟性にも触れます。 角丸とは 「角丸」とは、オブジェクトの角に丸みを持たせるデザイン要素です。主に矩形のオブジェクトに適用され、CSSのborder-radiusプロパティを使用して角丸の半径を指定します。 角丸が持つ意味は、オブジェクトが丸みを帯びることで、そのオブジェクトがインタラクト（クリック/タップ/ドラッグ&ドロップ/フリック/スワイプ）可能であることを示します。これは物理世界のメンタルモデルと連動し、触れやすさや触れた際の怪我のしにくさを意味します。 Zennの角丸チューニングの経緯と目的 Zennでは、以
「ほぼ無税生活」に向けた収入と控除の年末チューニング 完全FIREへの道（19） - FIRE: 投資でセミリタイアする九条日記
経済的に自立（FI）した上で、退職に限定せず好きな仕事で働く（RE）ことがFIREだと思っていますが、今回サラリーマンも退職し、世間的な意味で完全FIREしました。 FIREすると収入も支出もコントロールの余地が大いに拡大します。さらに個人事業主、サラリーマン、会社経営者といった複数の顔を同時に持つことで、所得控除なども大いに活用できます。というわけで、「ほぼ無税」生活に向けて、何をどうコントロールしているのか、大公開です。 大原則：収入から経費と控除を引いた残りが課税所得 収入を減らす 経費を増やす 所得控除を増やす 今年は何をどうしたか 大原則：収入から経費と控除を引いた残りが課税所得 まず個人が支払う税金の大原則から確認です。個人が払う税金の中でもっとも複雑なパズルになるのは給与や事業などの総合課税です。ここにかかる主なものは、所得税と住民税です。この2つはどうやって計算するかという
リアル事例から読み解くWebパフォーマンスチューニングの勘所/Offers web performance tuning
https://offers.connpass.com/event/304025/ 発表資料です
「開発の方向性が異なる」AIモデル Romiは家庭用コミュニケーションロボットである。「人に寄り添い共感するような会話」を目指し、現在も開発が続いている。Romiのシステムは、クライアントとサーバーに分かれる。会話を理解し、回答を返すのは会話サーバーだ。 具体的には、次のような流れで会話を実現する。まず人がRomiに話しかけると、Romiは「Google Cloud Speech API」を介して音声データを文字列データに変換する。この文字列データを会話サーバーに送信すると、サーバーが回答をテキストデータとして構築し、Romiに返す。最終的にRomiが音声合成機能を使ってテキストを音声に変換して人に返答する。 Romiでは会話サーバーにおいて、人への回答を構築する部分に生成AIを活用している。ただしRomiが利用する生成AIのモデルは、ChatGPTで利用されている「GPT-4」のようなモ
「TikTok」などを運営する字節跳動（バイトダンス）のLinuxカーネルエンジニアであるCong Wang氏は、Linuxカーネルのトップ開発者が集まる招待制のカンファレンスであるLinux Plumbers Conferenceで、ワークロードに合わせて最善の結果が得られるように、人工知能（AI）と機械学習を使ってLinuxカーネルをチューニングすることを提案した。 一般的な話で言えば、Linuxカーネルはほぼどのようなタスクにも問題なく使えるが、特定の作業で最大の効果を上げるには、微調整して最善の結果が得られるようなパラメーターを設定する必要がある。ただし、このアプローチには1つだけ小さな問題がある。それは、パラメーターの数が何千にも及ぶことだ。Linuxの専門家であっても、最適なパフォーマンスを得るためのチューニング作業には時間と手間がかかる。しかも、ワークロードが変われば、また別
BigQuery の Execution Plan を体感&可視化で理解してパフォーマンスチューニングする - Qiita
「Startup Day 2023」は日本中のAWSを利用するStartupが、AWSの知見を披露するHubとなる1日です。2023年はサブテーマに「スタートアップ冬の時代を共に乗り越える」を掲げて、スタートアップが面しているこの逆境をどうやって跳ね除け、成長につなげていけるかを共有します。ここで、株式会社SODAの林氏が登壇。まずは、「SNKRDUNK」（スニダン）におけるコスト削減の方針について話します。 本セッションの目次 林雅也氏：林と申します。本日は「AWS月額利用料を$137,000→$87,000に削減して信頼性に投資した話」をします。 さっそくタイトルの訂正で恐縮ですが、このセッションの準備にあたっていろいろと数値を振り返っていると、最大値は$146,000だったので、いきなりですが$137,000から訂正します。 そして今日のキーワードから共有したいと思います。今日のキー
Hatena Engineer Seminar #27 「パフォーマンスチューニング編」をオンラインで開催しました #hatenatech - Hatena Developer Blog
2023年11月16日（木）に、 Hatena Engineer Seminar #27 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 Hatena Engineer Seminar #27 について 発表概要と資料 OpenTelemetry の Trace を中心にしたパフォーマンス改善 Mackerelチーム エンジニア id:rmatsuoka はてなブログのブログ表示に必要なJSを1/6にした話 ブログチーム エンジニア id:nanimono_demonai さいごに Hatena Engineer Seminar #27 について Hatena Engineer Seminar は、はてなのサービスを開発する上で、エンジニアがどのような事を考えているのか、どのような働き方をして
11/16 オンライン開催！Hatena Engineer Seminar #27「パフォーマンスチューニング編」 - Hatena Developer Blog
Webアプリケーションのパフォーマンス・チューニングの勘所 / web tuningperformance
# 参考資料 - https://speakerdeck.com/hanhan1978/purohuairawoshi-tutaphpapurikesiyongai-shan-falsekan-suo - https://speakerdeck.com/hanhan1978/web-application-tuning-guildline - https://speakerdeck.com/soudai/basic-of-rdb - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://fortee.jp/phpcon-2021/proposal/1e11a6b1-08d9-4044-9909-4c90105ea726 - https://fortee.jp/phperkaigi-2021/proposal/1d
【話し手】 櫛井優介 KUSHII YusukeLINE ㈱ Developer Successチーム所属。技術広報として技術系イベントなどを担当。インターネットでは「941」というハンドルネームで活動することが多い。 Twitter @941 Blog https://blog.kushii.net/ 本コーナーでは技術へのタッチポイントを増やすことを目標に、各分野で活躍されている方をお迎えします。今回はLINEが運営窓口を担当するISUCONをテーマに、成り立ちや運営、エンジニアを夢中にするパフォーマンスチューニングの魅力を941さんと紹介します。 ISUCONの魅力とは 日高： 今回のテーマはISUCONです。どういうものか紹介いただけますか。 941： ISUCONとは「いい感じにスピードアップコンテスト」の略称で、パフォーマンスチューニングの大会です。 日高： 大会では毎年違うテ
SELECT table_a.id, table_a.name FROM table_a INNER JOIN table_b ON table_a.id = table_b.id; メリットとしては、 どちらかのテーブルのid列のインデックスを使用可能 サブクエリがないことで中間テーブルが作成されない しかし、インデックスがない場合はEXISTSの方が良い場合があります ソートの回避 SQLでは暗黙的にソートが発生する演算が存在するので、 パフォーマンスにも影響するため、ソートが必要ない場合は考慮する必要があります ソートが発生する演算 GROUP BY句 ORDER BY 句 集約関数（SUM, COUNT, AVG） DISTINCT 集合演算子（UNION, INTERSECT, EXCEPT） ウィンドウ関数（RANK, ROW_NUMBER 等） メモリ上でのソートだけではなく
レスポンスヘッダにプロファイラのURLを含めるとGraphQLのパフォーマンスチューニングに便利という話
こんにちは！株式会社アルダグラムのKANNAの開発お手伝いをさせて頂いているoubakiouです。 KANNAではサーバーサイドにRails+GraphQL Ruby、クライアントサイドでApollo Clientを利用していますが、どこの会社であれGraphQLであれRESTであれサービスが成長するとその裏側のパフォーマンスチューニングが必要になる場面が大なり小なり訪れると思います。KANNAもその例に漏れずユーザー数の増加や今までにない規模のお客様企業への導入に伴い、それまでは問題の無かったGraphQLクエリーのいくつかでレスポンス速度に問題が出始めていました。 本番環境においてはDatadogなどで監視環境を構築しスロークエリーやパフォーマンスの監視を行っていますが、開発環境においてはRails部分にrack-mini-profiler、graphql-ruby部分に独自Trace
またスループットが計算時間 (compute input + compute infer + compute output) の逆数と近い値になっていることに注目してください。これは下図のようにGPUがリクエストをすき間なく直列的に処理していることを示しています。仮にGPUが遊んでいる時間があるとするとスループットは計算時間の逆数より小さくなるはずです。このようにGPUがすき間なくリクエストを処理している状況で、低精度計算によって計算時間が減ればその分、スループットが上昇することが見て取れると思います。 この節のように、レスポンスタイムとスループットの両方の改善は、システムパフォーマンスの観点から見てもいいことずくめです。数値誤差が問題にならないことが確認できていれば低精度計算をぜひ活用すべきでしょう。一方で次節の内容はレスポンスタイムの悪化を許容した上でスループットの改善を目指す内容にな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
LLMの価値を享受できないのは「全従業員向け」だから 95パーセントがニッチ業務だからこそ必要なチューニング
みかラジ！ライブ 〜チューニングしながらだいたい１９時までまったりトーク〜 - 水景の雑記帳
Amazon RDS / Amazon Aurora パフォーマンスチューニングとモニタリング
クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する
デノン、山内氏が徹底チューニング“音楽を奏でるサウンドバー”「DHT-S218」
SQLチューニングとは宣言型言語でリファクタリングをするということ
データマートのモデリングとパフォーマンスチューニング｜zono
MySQL(InnoDB)のSQLパフォーマンスチューニングのエッセンス
[fujiwara氏✖️そーだい氏]実例をもとにしたWebパフォーマンスチューニングの読み解き方 | Offers Magazine
Reactの気持ちになって理解するWebパフォーマンスチューニング
職能を越えた連携で「目先の数字に囚われないSQLチューニング」を実現する
フロントエンドのパフォーマンスチューニング Javascriptは非同期で読み込むべし
Zennサイトの角丸チューニングによるユーザー体験向上とCSS変数の整理
LLMチューニング手法「LoRA」のポイントと活用例 - Qiita
人を癒やすMIXIの会話ロボット「Romi」、正確さより楽しさ重視のAIチューニング
インテル Core i9 プロセッサー 14900Kを電力リミット・チューニングでおいしく使う！最新CPUで“最高性能”も“エコ”も狙え!![Sponsored]
![インテル Core i9 プロセッサー 14900Kを電力リミット・チューニングでおいしく使う！最新CPUで“最高性能”も“エコ”も狙え!![Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/fbf8872fa8f5396fdb1b3a1b7cdce4bb2cecfc39/height=288;version=1;width=512/https%3A%2F%2Fakiba-pc.watch.impress.co.jp%2Fimg%2Fah%2Flist%2F1553%2F547%2Fa01.jpg)
AIによるLinuxカーネルのチューニング--バイトダンスの新たな試み
AWS月額利用料を$146,000→$87,000に削減した方針 パフォーマンスチューニングの鉄則はコスト削減にも当てはまる
仕事中に音楽、楽しんでる？ 部屋に合わせて自動でチューニングするSonosなら、小さくても音がいい!! 【テレワークグッズ・ミニレビュー 第86回】
最終回 チューニングが止まらない！ プログラミングの魅力 | gihyo.jp
社内向け SQLチューニング勉強会を実施しました
スバル、「BRZ」一部改良でMT車に「アイサイト」初採用 STIチューニングのサスペンションなどを装備した「STI Sport」グレード設定
【SQL】ちょっとしたパフォーマンスチューニングまとめ - Qiita
GPU上の推論サーバーのパフォーマンスチューニング方法