オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、より優れたLLMを作るために必要なこと。前回はこちら。 より優れたLLMを作るために必要なこと 秋葉拓哉氏：めでたくFine-Tuningもできた。これけっこう、びっくりするかもしれません。コードはさすがにゼロとはいかないと思いますが、ほとんど書かずに実はLLMは作れます。 「さすがにこんなんじゃゴミみたいなモデルしかできないだろう」と思われるかもしれませんが、おそらく余計なことをしなければこれだけでも、まあまあそれっぽいLLMにはなるかなと思います。 なので、ちょっと、先ほどの鈴木先生（鈴木潤氏）の話と
オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、LLM構築タイムアタック。 「GPT-4を作ってください」と言われたらどう答える？ 秋葉拓哉氏：みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか？ ということをちょっと聞いてみたいですね。 これはけっこう意
光の速さと戦えるのは味染み大根の美味さだけ
光の速さ→めちゃくちゃ速い 煮汁の味がしっかり染みた大根→美味さが爆速で全身を駆け巡る（体感では口に入れる前から煮汁の味が広がってもう美味い） 光の速さと戦わざるを得なくなったらこの美味すぎ大根のエネルギーを利用する以外勝ち目は無い 終わりだ全部
「TikTok」などを運営する字節跳動（バイトダンス）のLinuxカーネルエンジニアであるCong Wang氏は、Linuxカーネルのトップ開発者が集まる招待制のカンファレンスであるLinux Plumbers Conferenceで、ワークロードに合わせて最善の結果が得られるように、人工知能（AI）と機械学習を使ってLinuxカーネルをチューニングすることを提案した。 一般的な話で言えば、Linuxカーネルはほぼどのようなタスクにも問題なく使えるが、特定の作業で最大の効果を上げるには、微調整して最善の結果が得られるようなパラメーターを設定する必要がある。ただし、このアプローチには1つだけ小さな問題がある。それは、パラメーターの数が何千にも及ぶことだ。Linuxの専門家であっても、最適なパフォーマンスを得るためのチューニング作業には時間と手間がかかる。しかも、ワークロードが変われば、また別
ISUCON13のベンチマーカーのDNS水責め攻撃について - Hateburo: kazeburo hatenablog
この記事はさくらインターネット Advent Calendar 2023の12月3日の記事になります。 先日行われました ISUCON13 の作問を担当しました。参加者の皆様、スタッフの皆様ありがとうございました。 このエントリではISUCON13のDNSに関わる要素とベンチマーカーから行われたDNS水責めについて紹介します。 ISUCON13の問題の講評と解説は以下のエントリーでも行っていますので読んでいただけると嬉しいです isucon.net こんいす〜 ISUCON13における名前解決 上記のエントリーにもある通り、今回のISUCONではDNSが問題の一部として出てきます。 これまでポータルから参加者は割り振られたサーバの中から負荷をかけるサーバ1台選択し、ポータルはそのサーバに対して負荷走行を行うことが多くありましたが、今回はサーバ1台を選択したら、ベンチマーカーはそのサーバの
BigQuery の Execution Plan を体感&可視化で理解してパフォーマンスチューニングする - Qiita
Accelerating Generative AI with PyTorch: Segment Anything, Fast
This post is the first part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples of how these features can be combined to see how far we can push PyTorch native performance. As announced during the PyTorch Developer Conference 2023, the PyTorc
こんにちは、CTOの森です。iimonは今回が初のアドベントカレンダー参加です！ 本記事はiimonアドベントカレンダー1日目の記事となります。 はじめに 検証した環境 MySQL/mecabのインストール 大量のデータを入れる 1レコードのINSERTにかかった時間 検索してみる 検索文字列が「出来事」の場合 インデックスなし N-gram(bi-gram) IN NATURAL LANGUAGE MODE IN BOOLEAN MODE MeCab IN NATURAL LANGUAGE MODE IN BOOLEAN MODE 検索文字列が「チューリングはロンドンのリッチモンドに住み」の場合 まとめ 参照したサイト 最後に はじめに 今回はMySQLで全文検索機能を使う際のパフォーマンスについて書こうと思います！ 全文検索をちゃんと使うのであればElasticsearchやSolrな
This post is the second part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples to see how far we can push PyTorch native performance. In part one, we showed how to accelerate Segment Anything over 8x using only pure, native PyTorch. In this
この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上げる 紹介したテクニックを活用した10XでのCI高速化事例 アプリのビルド時間の大幅短縮に成功！！ APIのテスト実行時間の大幅短縮に成功！！ CIを高速化するために日々取り組んでいること CI/C
Guide to fast websites with Next.js: Tips for maximizing server speeds and minimizing client burden – Vercel
Tinloof is an agency obsessed with delivering fast websites such as jewelry brand Jennifer Fisher, which went from a Shopify theme to a modern Next.js website that instantly loads with 80% less JavaScript. When evaluating the speed of a website, they look at key metrics in a typical user journey: Server response time: How long it takes for the user to get any feedback once landed on the page.Page
Hey, I'm Fabio and I've been contracted by the Prettier team to speed up Prettier's command line interface (CLI). In this post we'll take a look at the optimizations I've discovered, the process that lead to finding them, some exciting numbers comparing the current CLI with the new one, and some guesses about what could be optimized next. Installation The new work-in-progress CLI for Prettier has
CSSパフォーマンスに関する計測結果
「Startup Day 2023」は日本中のAWSを利用するStartupが、AWSの知見を披露するHubとなる1日です。2023年はサブテーマに「スタートアップ冬の時代を共に乗り越える」を掲げて、スタートアップが面しているこの逆境をどうやって跳ね除け、成長につなげていけるかを共有します。ここで、株式会社SODAの林氏が登壇。まずは、「SNKRDUNK」（スニダン）におけるコスト削減の方針について話します。 本セッションの目次 林雅也氏：林と申します。本日は「AWS月額利用料を$137,000→$87,000に削減して信頼性に投資した話」をします。 さっそくタイトルの訂正で恐縮ですが、このセッションの準備にあたっていろいろと数値を振り返っていると、最大値は$146,000だったので、いきなりですが$137,000から訂正します。 そして今日のキーワードから共有したいと思います。今日のキー
Small String Optimization で Rust ライブラリ ratatui を最適化した話 - はやくプログラムになりたい
最近 ratatui という crate に Small String Optimization を利用した最適化を入れたので，その話を書きます． 目次 Small String Optimization (SSO) とは（SSO を既に知っている人は読み飛ばして大丈夫です） Rust で SSO を適用した文字列型を提供する crate 比較 SSO を利用して ratatui のメモリ効率と実行効率を最適化した話 compact_str crate の実装の最適化の話 インラインストレージに24バイト全てを使える理由 隙間最適化のための工夫 説明を簡潔にするため，特に断りが無い場合 64bit アーキテクチャを前提とします． Small String Optimization (SSO) とは Rust の可変長文字列型 String は文字列バッファへのポインタ，文字列の長さ，バッフ
第6回 LLM 勉強会
2023年11月29日（水）に国立情報学研究所にて第６回 LLM 勉強会を開催しました。 プログラム LLM-jp 状況報告（黒橋） [資料] LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美） [資料] ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江） [資料] 医療における大規模言語モデルの可能性と進歩（東大 小寺） [資料] コーパス構築WG（河原） [資料] モデル構築WG（鈴木） [資料] 評価・チューニングWG（宮尾） [資料] 安全性WG（関根） [資料] 参加者 現地26名・オンライン150名程度
Amazon S3よりパフォーマンスが10倍向上しリクエストコストを50％抑えられる低レイテンシーストレージクラス「Amazon S3 Express One Zone」が発表される
Amazon Web Services(AWS)が、2023年11月27日から12月1日にかけてラスベガスで開催されるイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon Simple Storage Service(S3)と比較して最大10倍のパフォーマンスを発揮するストレージクラス「Amazon S3 Express One Zone」を発表しました。 Announcing the new Amazon S3 Express One Zone high performance storage class | AWS News Blog https://aws.amazon.com/jp/blogs/aws/new-amazon-s3-express-one-zone-high-performance-storage-class/ Need low laten
しずかなインターネットの技術構成
Announcing the new Amazon S3 Express One Zone high performance storage class | Amazon Web Services
AWS News Blog Announcing the new Amazon S3 Express One Zone high performance storage class The new Amazon S3 Express One Zone storage class is designed to deliver up to 10x better performance than the S3 Standard storage class while handling hundreds of thousands of requests per second with consistent single-digit millisecond latency, making it a great fit for your most frequently accessed data an
Amazon EFS now supports up to 250,000 read IOPS and up to 50,000 write IOPS per file system, making it easier to power IOPS-intensive file workloads on AWS. Amazon EFS provides serverless, fully elastic file storage that makes it simple to set up and run file workloads in the cloud. Amazon EFS now supports up to 250,000 read IOPS (4.5x improvement) when you are working with frequently-accessed dat
「いつでもパフォーマンスの高い人」になるための基本的習慣。大切なのは○○を疲れさせないこと - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
パソコンやスマートフォンが生活の一部となった現代では、“目が疲れていない人” を探すほうが難しいのではないでしょうか。そうした “目の疲れ” は、もしかしたら私たちの想像以上に、仕事や勉強のパフォーマンスを低下させているかもしれません。その理由と、疲れ目予防に役立つ情報を紹介します。 【ライタープロフィール】 STUDY HACKER 編集部 「STUDY HACKER」は、これからの学びを考える、勉強法のハッキングメディアです。「STUDY SMART」をコンセプトに、2014年のサイトオープン以後、効率的な勉強法 / 記憶に残るノート術 / 脳科学に基づく学習テクニック / 身になる読書術 / 文章術 / 思考法など、勉強・仕事に必要な知識やスキルをより合理的に身につけるためのヒントを、多数紹介しています。運営は、英語パーソナルジム「StudyHacker ENGLISH COMPAN
単体のアニメーションだとそれほど気にならない場合でも、表示範囲の中で複数のアニメーションが同時に走ったりする場合、負荷が増大して処理落ちなどを起こすことがあります。 レンダリング負荷を軽減するため試行錯誤をしたので、備忘録もかねて実施した内容をまとめました。 可読性や保守性など、よりクリーンなコードを目指す場合は不適切な書き方があるかもしれません。 コードは参考程度に見ていただき、各自の環境でデバッグのうえより適切なコードを選択していただければと思います。 パフォーマンスパネルでデバッグ今回はChromeのパフォーマンスパネルで検証をしました。 パフォーマンス計測後の詳細からJSファイルを参照すると、具体的な実行時間まで表示されるため重たい処理の特定に非常に重宝しました。 パフォーマンスパネルの使い方の詳細は以下をご参照ください。
速さはDX - ゆーすけべー日記
はじめに OpenTelemetryのトレーシングには色々な情報が付与されるため、パフォーマンスやエラーの調査に利用することが出来ます。 この記事ではOpenTelemetryを使った調査方法について紹介します。 ※コードのサンプルにGoを使用していますが、Go以外の言語でも変わりません。 TraceとSpan はじめにOpenTelemetryのトレーシングについて。 トレーシングは主にSpanとTraceで出来ています。 Spanはプログラムが実行した処理を表すデータ構造で、開始時間やAttribute(任意のキーバリュー)を持っています。 また、TraceはSpanをノードとした木構造です。 Traceを可視化すると上図のようになり、線一本ずつがSpanです。 ただし、Traceはどこかで一括管理されているものでもなければ、実体があるわけでもありません。 トレーシングとしてプログラム
GitHub - pytorch-labs/segment-anything-fast: A batched offline inference oriented version of segment-anything
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
A woman with a pixie haircut looking at a computer in an office environment, waiting for her code to compile. If you're looking for a talented Rust developer, or a good senior software engineer, please reach out. I'm looking for a full time role doing something neat, and am available for contract gigs. Contact info is in the footer. Thank you! There's now a Part 2, where I cover a couple more opti
Note: This blog post is a companion to a presentation I gave at DevFest NYC on November 11, 2023. The web is getting faster. In fact, according to HTTP Archive, more websites than ever before are passing the Core Web Vitals assessment, which looks at three metrics that represent different aspects of page performance: loading speed, interaction responsiveness, and layout stability. Earlier this wee
5G対応かも不明、異例だらけのスマホ「HUAWEI Mate 60 Pro」レビュー 力業で制裁を回避した驚異のモデル
5G対応かも不明、異例だらけのスマホ「HUAWEI Mate 60 Pro」レビュー 力業で制裁を回避した驚異のモデル（1/4 ページ） iPhoneやPixelといった新型スマートフォンが発売される中、中国ではHuaweiの最新スマートフォン「HUAWEI Mate 60」シリーズが話題だ。発表会もなく、突如発売されたこのスマートフォンはスペックの多くが謎めいた形で販売された。香港で「HUAWEI Mate 60 Pro」の実機を入手したので、レビューしていく。 iPhoneやPixelといった新型スマートフォンが発売される中、中国ではHuaweiの最新スマートフォン「HUAWEI Mate 60」シリーズが話題だ。発表会もなく、突如発売されたこのスマートフォンはスペックの多くが謎めいた形で販売された。香港で「HUAWEI Mate 60 Pro」の実機を入手したので、レビューしていく。
このリーダーボードは、llm-jpで検証している結果である (v1.0.0). Made by Kei Kamata using Weights & Biases
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evaluation & Analysis」構築のポイント
レスポンシブ対応の遅延画像が「sizes=auto」を使用すると簡単に実装できるようになります
もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」
AIによるLinuxカーネルのチューニング--バイトダンスの新たな試み
Windows上でCPUの負荷状態を調べためのいくつかの方法 (1/2)
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
ISUCON13で優勝しました(チーム NaruseJun)
MySQLで全文検索機能を使う際のパフォーマンスについて調査してみた - iimon tech blog
Accelerating Generative AI with PyTorch II: GPT, Fast
CIを高速化する技術⚡️ - 10X Product Blog
Prettier's CLI: A Performance Deep Dive · Prettier
AWS月額利用料を$146,000→$87,000に削減した方針 パフォーマンスチューニングの鉄則はコスト削減にも当てはまる
HonoのNode.jsアダプタが2.7倍速くなりました
Amazon EFS now supports up to 250,000 IOPS per file system
チーム白金動物園としてISUCON13に参加しました - 昼メシ物語
ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
Rustによる並列処理でDynamoDBへのデータ投入を20倍高速化してみた
【JavaScript】アニメーションの処理負荷を軽減する | Web production note
OpenTelemetryでパフォーマンス改善とエラー調査ができる理由
How I Improved My Rust Compile Times by 75%
目標から逆算し、先回りされると意欲を奪われる｜shinshinohara
Google公式「Web表示パフォーマンス改善塾」スタート（テストもあるよ）【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
A faster web in 2024 - rviscomi.dev
llm-jp-eval リーダーボード
CPUパフォーマンスを約33％向上させる「パッシブ塩水冷却」とは？