今週、PFNよりChainerの開発を停止するという発表があって驚きました。 Chainer/CuPy v7のリリースと今後の開発体制について 深層学習・機械学習・Pythonの素人でしたが、深層学習ブームの中、2015年の秋くらいから使い始めて、Chainer meetup(#3,#8)でも発表させて頂きました。 新しい機能もあまり使っていなかったので、しらばくこのままChainerを使い続けることもできますが、これを機にPyTorchを一度試してみました。 公式の移行ドキュメントを見ると、関数の対応など書いてあり、とても参考になります。 Chainer ⇒ PyTorchへの移行ドキュメント(公式) 以下は個人的な移行時のメモとして置いておきます。 PyTorch インストール OS: Windows 10, ubuntu 18.04 GPU: RTX 2080 python 3.7(
HuggingFace の Gemma 統合｜npaka
さまざまなNeRF・3DGSを検証してみた!! powerd by デジタル・フロンティア - Qiita
自己紹介 名城大学理工学研究科メカトロニクス工学専攻修士2年のAsterです。 現在デジタルフロンティア様にて、NeRF・3DGS検証業務を行っています。検証の目的は、将来的に実写映像作品にNeRF・3DGSを活用できないか検討することで、今回の検証はそのための第一歩となります。 2023年5月から一年間行ってきたNeRF・3DGS検証に関して記事にしました。 ぜひ見てくだされば嬉しいです。 ※本記事に記載されている情報は、著者および関係者の知識と経験に基づいて提供されているものであり、正確性や完全性を保証するものではありません。記事の内容に基づくいかなる行動も、読者自身の責任で行ってください。また、技術や規格は常に進化しており、この記事の情報は執筆時点のものであることをご了承ください。最新の情報を確認するためには、公式ドキュメントや信頼できる情報源を参照することをお勧めします。 NeRF
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！
空前のAIブームの中にあって、その開発の現場で「一人勝ち」とも言うべき圧倒的なシェアを誇っているNvidia（エヌビディア）のGPU向け開発環境「CUDA」。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ『週刊 Life is beautiful』では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の「事実上の標準」となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した「Copilot+PC」に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題：NvidiaのCUDAが今の地位を築いた経緯 プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシ
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - ページ 3 / 3 - まぐまぐニュース！
人工知能の研究者たちに瞬く間に広まった4つの情報 なぜ彼が、OpenCLではなくCUDAを採用したかについては、本人と会う機会があったら是非とも聞いてみたいところですが、この事件は、人工知能の研究者たちに大きなインパクトを与えました。具体的に言えば、 長く続いていた「人工知能の冬」がようやく終わった ニューラルネットは、そのサイズがものを言う ニューラルネットの計算は、GPUを使うと桁違いの高速化が出来る GPUを使いこなすには、CUDAを使えば良い という情報が、瞬く間に広まったのです。4番目は、OpenCLでも良かったはずなのですが、たまたまAlexNetがCUDAを採用していたため、「ニューラルネットの高速化にはCUDAを使うべし」という情報が研究者の間に瞬く間に広まってしまったのです。 この事件をきっかけに、CUDAが人工知能の研究者たちの間に瞬く間に広まったとは言え、CUDAはN
時系列基盤amazon chronos-t5を触ってみた（Google Colab） - Sun wood AI labs.2
はじめに 今回は、HuggingFaceで公開されている時系列予測用の強力なモデル「amazon chronos-t5」を使って、電力変圧器の温度予測に挑戦します！ chronos-t5は、大規模な時系列データセットで事前学習された、Transformerベースの言語モデルです。時系列データをテキストデータのように扱い、未来の値を予測します。大量のデータで学習されているため、少ないデータでも高い予測精度が期待できます。 この記事では、Google Colabを使って、chronos-t5の推論とFine Tuning（追加学習）を順を追って解説します。難しい数式や専門用語はなるべく避け、初心者の方でも理解しやすいように、コード例を交えながら丁寧に説明していきます。 amazon chronos-t5について chronos-t5は、以下の特徴を持つ強力な時系列予測モデルです。 大規模な事前
はじめに はじめまして。IIJクラウドサービスの基盤チームに所属しているshimada-kです。昨今の生成AI/LLM（大規模言語モデル）の盛り上がりはすさまじいものがありますが、遅ればせながら、私たちのチームでも様々な角度から検証を始めております。先日、同僚のt-moriyamaが、GPUサーバに関する記事（https://eng-blog.iij.ad.jp/archives/24836）を投稿しましたが、こちらはその環境を使用した後続の記事の一つとなります。私はこれまでインフラに関する仕事に携わってきたこともあり、最初のテーマとして「Ethernet上でマルチノードGPUによるDeep Learning環境を構築、動作させてみた」という内容で記事を書いてみたいと思います。 今回のゴール さて、テーマとしては上述のとおりなのですが、そもそも検証用のGPUサーバは1台しかありません（ただ
C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす - しばやん雑記
Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。 セッションでも話がありましたが、Microsoft としては DirectML を使っておけば GPU / NPU の両方に対応できるようにするようなので、今後はローカルでの AI 利用は DirectML が主導権を握る可能性がありそうです。 現状 Hugging Face で公開されている DirectML に対応した Phi-3 の ONNX モデルは以下の 4 種類です。Phi-3 mini と Phi-3 medium の両方が利用可能になっていますが、残念ながら現時点
産総研のG-QuATに冷却原子(中性原子)方式の米国QuEra社を採用。QuEraの受注額は65億円（4,100万米ドル）。設置するのは256量子ビットの第2世代デジタルモードをサポートするマシンで、産総研のスパコン・NVIDIAのGPUと併設される
[English follows Japanese] QuEra Computing社は、日本の産業技術総合研究所（AIST）から、つくば市にある同研究所量子AI技術ビジネスグローバル研究開発センター（G-QuAT）にQuEra社の冷却原子(中性原子)方式プロセッサ1台を設置する契約を締結したと発表した。これはQuEraにとって、顧客サイトにオンプレミスのマシンを設置する2件目の契約となる。QuEraはまた、英国研究革新省（UKRI）の国家量子プログラムにも量子テストベッドを提供する予定だ。 G-QuATは、量子アルゴリズムの大規模エミュレーション用に2000個のNVIDIA H100 GPUを設置する。この研究の一環として産総研は、産総研のABCI-Qスーパーコンピュータ、NVIDIA GPUとQuEra量子コンピュータを併設し、NVIDIAのCUDA-Qソフトウェアを組み合わせたハイブ
AI（人工知能）特需を受けて「一人勝ち」を続ける米半導体大手のエヌビディア（NVIDIA）。その強さはGPU（画像処理半導体）というハードウエアだけではない。10年以上前からAIにおける「事実上の標準」を目指して進めていた、したたかな戦略があった。生成AIの5つの覇権争いを徹底取材した書籍『 生成AI 真の勝者 』から、ハードウエアだけでは解けないエヌビディアの強みを徹底解剖する。 AIにはこれまで3度のブームがあった。 1回目は1950年代後半～60年代。1956年に開かれた研究発表会である「ダートマス会議」で、初めて「人工知能（Artificial Intelligence）」という言葉が使われた。 当時のAIの手法は、「推論と探索」という言葉で説明される。大まかに言えば、ゴールが決まっている複雑な迷路をより早く解けるような手法だ。パズルやチェスなどで効果を発揮したが、「ゴールがない」
tl;drHugging Face に月に 9 ドルお布施すると ZeroGPU が使えるよ！ ZeroGPU は Hugging Face Spaces にて最大 120 秒間 A100 が使えるという代物だよ！ 通常はホスティングに時間単価で課金が発生するから安心だね！ ちょっとしたモデルの推論サーバとして重宝するよ！ ZeroGPU とはなにか Hugging Face Spaces で追加のコストなく GPU を使える代物。 この記事の読者の多くは、大規模言語モデルや画像生成モデルなどのデモアプリが Hugging Face Spaces 上で動いているのを目にしたことがあるでしょう。 こういう感じの一度くらい見たことがありますよねきっとこれらを自前で Hugging Face Spaces にホスティングする際にはなかなかにめんどうくさい。 このモデルってどのくらいの推論メモリを
NVIDIA GeForce搭載PCが「Copilot+ PC」へ - ゲームとAIの融合「G-Assist」が『ARK: Survival』に
NVIDIA GeForce搭載PCが「Copilot+ PC」へ - ゲームとAIの融合「G-Assist」が『ARK: Survival』に NVIDIAは6月2日（台湾現地時間）、開催を控える国際展示会「COMPUTEX 2024」に先駆けて基調講演を国立台湾大学総合体育館で実施した。NVIDIA Blackwellアーキテクチャ採用最新製品の導入を推し進めるほか、一般消費者向けの発表も行われている。 NVIDIA GeForce搭載PCが「Copilot+ PC」へ - ゲームとAIの融合「G-Assist」が『ARK: Survival』に NVIDIA GeForce RTX AI PCでAIアシスタント実現へ Microsoftはデバイスが備える推論性能によってAIを利活用できるPCを「Copilot+ PC」として提唱しており、初出時はQualcomm Snapdragon
はじめに前々回のGoogle Timesfm、前回のMomentに引き続き、HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。 利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。 google/timesfm-1.0-200m ダウンロード数：4.59k モデルサイズ：200m ライセンス：Apache-2.0 AutonLab/MOMENT-1-large ダウンロード数：5.79k モデルサイズ：385m ライセンス：MIT ibm-granite/granite-timeseries-ttm-v1 (今回) ダウンロード数：10.1k モデルサイズ：805k (小さい！！) ライセンス：Apa
こんにちは、株式会社Qualitegプロダクト開発部です。 今日は 商用LLM サービングに欠かせない PagedAttention 技術をご紹介します はじめにPagedAttention は当社にとって非常に重要な技術です PagedAttentionを活用するとLLMでの文章生成において GPUメモリの利用効率をあげ 、そのぶん単位GPUあたりの同時に捌けるリクエストを増やすことができます。 当社は「ChatStream」という商用のLLMサービングプラットフォームを開発・提供しているため、多ユーザーからの同時リクエストによる高負荷環境でのLLMサービング(文章生成の提供)は、ドドド真ん中の課題ということになります。 PagedAttention登場以前の従来の並列生成はKVキャッシュとよばれる”リクエストごとに発生する大きなGPUメモリ消費”との戦いでした。 (KVキャッシュは t
NVIDIAとAMDが「Copilot+ PC」に対応したゲーミングノートPCを構築する | XenoSpectrum
Microsoftが先日発表した「Copilot+ PC」は、発表当初QualcommのSnapdragon Xチップを搭載したノートPCしかラインナップされていなかったが、NVIDIAの本日の発表によればQualcomm以外にもCopilot+ PCが登場するようだ。 NVIDIA RTX AI PCがまもなく登場し、「Copilot+ PC」機能をサポート NVIDIAは本日のComputex 2024において、AsusとMSIから「RTX AI PC」ノートPCが発売され、これが最終的にCopilot+ PC機能を搭載することを発表した。 「ASUSとMSIから新たに発表されたRTX AI PCラップトップは、最大GeForce RTX 4070 GPUとWindows 11 AI PC機能を備えた電力効率に優れたシステム・オン・ア・チップを搭載しています」と、NVIDIAはブログ投
密かに進化するAIチップ
生成AI（人工知能）の活用の広がりの陰で進行しているのが、新しいAIチップの開発だ。AIの処理に特化することで、現行のGPU（画像処理半導体）の汎用性に起因する電力消費の増大を解決する可能性を秘める。大手IT企業からスタートアップまでがこの領域に参入し、本命となるべく開発を進める。今後新たに登場するAIチップは、ITや半導体業界に「50年に1度の大変革」をもたらすかもしれない。 機械学習からディープラーニング、そして生成AI（人工知能）へ――。AIが高度に進化したことで、その応用領域はますます拡大し、ユーザーも増加し続けている。パソコンやスマートフォン（スマホ）が生活やビジネスに欠かせない必需品となったように、高度なAIを活用した電子情報機器やITサービスもまた、日常使いする当たり前のツールになりつつある。さらに、生成AIを実現する基礎技術の1つである「基盤モデル※1」は、多種多様なデータ
NVIDIAがHPCG AIベンチマークをオープンソース化！Ampere、Hopper GPU、Grace CPUをサポート - ハオのガジェット工房
NVIDIAは、AIコンピューティング向けベンチマーク「HPCG」をオープンソース化しました。 オープンソース化の背景 近年、NVIDIAはオープンソースへの取り組みを積極的に進めています。例えば、GeForce RTX 20シリーズ以降のGPUカーネルをオープンソース化し、Linuxでの開発を促進しました。 今回、NVIDIAはHPCGをオープンソース化することで、AI業界全体の発展に貢献することを目的としています。 HPCGとは HPCGは、HPC（High Performance Computing）アプリケーション向けに設計されたベンチマークです。複数の数学演算に焦点を当て、さまざまなシナリオで特定のハードウェアのパフォーマンスをテストします。 HPCGは、ソフトウェアパッケージとして提供されており、HPCシステムの最適化に重要な役割を果たしてきました。 HPCGオープンソース化の
やられアプリ BadTodo - 17.4 ハッシュの解析（hash cat を使う） - demandosigno
前回：やられアプリ BadTodo - 17.2 パスワードハッシュ化の目的 - demandosigno パスワード解析ソフトの John the Ripper でもハッシュの解析はできるのですが、今回は hash cat を使います。 その名の通りハッシュの解析ができます。強力なグラフィックボードはハッシュの解析も速いため、ベンチマークソフトとしても使われています。 hashcat - advanced password recovery hashcatは様々なハッシュの種類やソルト付きハッシュに対応していますが、私のPCのグラフィックボードは古くて性能が低いため以下の内容で試します。 ・ハッシュ関数はMD5（ソルト無し） ・ハッシュの元とするパスワードは、8文字の英大文字・小文字・数字 ・hashcat-5.1.0（昨年試した際の記録かつ私のグラボに対応可能なバージョンのため古いです
大規模言語モデル(LLM)で話し相手を(全部ローカルで)作ってみた | cloud.config Tech Blog
2023年最後のブログ投稿、GPU有効活用シリーズの第3弾です。 第1弾、第2弾はこちらからどうぞ→前編 後編 第2弾 今年から一人暮らしを始めたのですが、家にいると思っている以上に口から何かを発することが無いことに気づきました。 Discordなりで家にいても人と会話することができないわけではないのですが、わざわざ人を呼び出すのも気が引けます。 なので最近流行りのLLMに話し相手になってもらうことにしました。 前提条件すべてローカルで完結すること。 会話文の生成はChatGPTやAzure Open AI、最近はAmazon bedrockなど、Speech to TextやText to SpeechもAzure、AWS、GCPと大抵のクラウドにAPIはありますが、せっかくLLMをローカルで動かすのだからどうせなら全部ローカルにしようとなりました。 なので"どこどこのAPIの方が性能い
はじめに 本日はPostgreSQL＋分析処理という観点で、HeteroDB社の海外さんが作成されているPG-Stromに同梱されているArrow_FDW（列指向データストア）について、ご紹介します。 Arrow_FDWとは、Apache ArrowフォーマットのファイルをPostgreSQL上からテーブルとして扱うことができる外部モジュールです。PG-Stromでの処理性能を高めるため、作成されており、PG-Stromと併せて使用することで大量データも高速で処理することができます。 詳細はPG-Stromのマニュアルをご参照ください。 この記事では、実際にArrow_FDWを使って、PostgreSQLからpythonで作成したArrowファイルを参照できるかというのを試してみようと思います。 インストール手順 ちょっと古い記事ですが、導入手順は基本的に何も変わらないので、バージョンの部
生成AIやLLM、人型ロボットなど大規模演算に期待される「NVIDIA Blackwell」 従来比較で最小1/25のコストとエネルギー使用量 - ロボスタ ロボスタ - ロボット情報WEBマガジン
TOP > ニュース > 生成AIやLLM、人型ロボットなど大規模演算に期待される「NVIDIA Blackwell」 従来比較で最小1/25のコストとエネルギー使用量 NVIDIAは、2024年3月に開催した「GTC 2024」(関連記事)にて、NVIDIA Blackwellプラットフォームを発表した(出荷時期は2025年後半を予定)。このプラットフォームは、兆単位のパラメーターを持つLLM (大規模言語モデル) による生成AIをNVIDIA Hopperアーキテクチャの最小1/25のコストとエネルギー使用量で実現する。 BlackwellはAIワークロードに強力な影響を及ぼすだけでなく、その技術的能力により、従来の数値シミュレーションを含む、あらゆる種類の科学コンピューティングアプリケーションに発見をもたらすのに貢献する、とNVIDIAは述べている。 アクセラレーテッドコンピューティ
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
Google Colaboratory 上の Livebook で LLM （Llama2, Mistral）を動かす - Qiita
Google Colaboratory 上の Livebook で LLM （Llama2, Mistral）を動かすElixirbumblebeeGoogleColaboratoryLivebookLLM はじめに Elixir で簡単に AI モデルを扱える Bumblebee で Llama2 や Mistral が動かせるようになっていたので、 Google Colaboratory から実行してみました 基本的には Bumblebee 公式のノートブックを実行していますが、 Google Colaboratory 用に少し改造しています 実装したノートブックはこちら 事前準備 ngrok Google Colaboratory 上で Livebook を動かすのに ngrok を使うため、 ngrok にサインアップして認証トークンを発行しておきます Hugging Face H
【Llama2】をdocker 環境で簡単に動かす方法
今回の記事は、Llama2を手軽に試してみたい方向けです！ llama.cppを使用して、簡易的なChatbotのWEBサーバーを作成します。 GPUなしVerは、こちらを参考にしてください！ 目次 目次 Llama2とは 動作環境 準備 Docker Desktopのインストール git をインストール NVIDIAドライバインストール CUDA Toolkitのインストール llama.cppリポジトリをクローン docker-compose.ymlファイルの追加 Dockerfile の修正 modelファイルのダウンロード Llama2を動かしてみる docker コンテナの起動 ローカル環境へアクセス 実際に使用してみた まとめ Llama2とは Llama2は、米Meta社が7月18日にオープンソースとして公開した最新の大規模言語モデルです。このモデルには、通常版とChat用に
NVIDIA、驚異の“株価3400倍”上昇のワケ 「時価総額世界一」の座は手に入るか：古田拓也「今さら聞けないお金とビジネス」（1/2 ページ） たった四半世紀の間に、米NVIDIAの株価は3400倍以上に膨れ上がった。1999年4月の底値は0.33ドル程度だったが、現在の株価は1148ドル。25年間で3400倍と、驚異的な成長を見せている。 2024年の同社の時価総額は足元で2.8兆ドルに達した。すでにGoogleを運営する米Alphabetの時価総額を抜き去り、世界の時価総額ランキングにおいては米Microsoftと米Appleに次ぐ3位につけている。Microsoftが3.1兆ドル、Appleが2.9兆ドルであることを踏まえると、3社間の差はごくわずかであり、NVIDIAが「時価総額世界一」の称号を射程圏に収めたと言っても過言ではないだろう。 足元の急上昇は、イーロン・マスク氏のAI
次世代ハイエンドグラフィックカード「NVIDIA GeForce RTX 5090」のリーク情報まとめ - ハオのガジェット工房
NVIDIAは、今年後半に次世代「Blackwell」アーキテクチャを採用したハイエンドグラフィックカード「GeForce RTX 50」シリーズを発売予定。その中でも最上位モデルとなるRTX 5090の情報がリークされました。 RTX 5090は、前世代のRTX 4090の後継モデルとなり、大幅な性能向上とメモリ容量の増加が期待されています。 リーク情報によると、RTX 5090は、以下の仕様を搭載する可能性があります。 GPU：GB202（削減版） CUDAコア：144個～192個 メモリ：GDDR7 28GB メモリバス幅：448ビット 消費電力：400W RTX 4090と比較すると、RTX 5090はメモリ帯域幅が56％向上する可能性があります。これは、ゲームや動画編集などの高負荷なワークロードにおいて、大きなパフォーマンス向上につながると期待されます。 その他の情報としては、当
前回までの「あそび方」シリーズでは、少し踏み込んだPlamo Linux内部の仕組みをあれこれ取りあげ、最終的にはインストーラの基盤となっているinitramfsについてかなり詳しく紹介しました。現在、こうして作り直したインストーラを用いたPlamo-8.2の開発作業が進んでいるものの、正式公開にはもう少し時間がかかりそうなので、今回はPlamo-8.2の予告を兼ねて、新機能のひとつであるNVIDIA GPUへの対応状況を紹介してみましょう。 LinuxとNVIDIA 最近の生成AIブームの追い風に乗って株価や収益が爆上げ中のNVIDIAですが、筆者のような古くからのLinuxユーザはあまりいい印象を持っていません。というのも、かってのNVIDIAはOSSに非協力的で、GPUに関する情報をほとんど公開せず、OSSなドライバの開発が困難だったためです。当時のLinuxユーザの間では「グラボを
Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481
Let's reproduce the GPT-2 (124M) in llm.c (~4,000 lines of C/CUDA) in 90 minutes for $20. The 124M model is the smallest model in the GPT-2 series released by OpenAI in 2019, and is actually quite accessible today, even for the GPU poor. With llm.c, which is quite efficient at up to ~60% model flops utilization, reproducing this model on one 8X A100 80GB SXM node takes ~90 minutes. For example, on
中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに
中国に拠点を置くGPUメーカーの「摩爾線程(Moore Threads)」が、自社製GPUを用いて大規模言語モデル「MT-infini-3B」を開発したことを発表しました。MT-infini-3BはNVIDIA製GPUを用いて学習した大規模言語モデルと同等以上の性能を備えているそうです。 摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成 | 摩尔线程 https://www.mthreads.com/news/171 アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施しています。このため中国ではNVIDIAやAMD、Intelなどが開発しているAI研究用チップの開発が困難となっています。 そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表しま
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
予期せぬバグの原因は「満月」だった - ライブドアニュース
技術者のバルトウォミェイ・クピアウ氏が、ライクゲーム「NetHack」の遊び方を学習するニューラルのトレーニングをする中で出会った、過去に見た中で最も不思議なバグについての話を披露しています。 So here's a story of, by far, the weirdest bug I've encountered in my CS career. Along with @maciejwolczyk we've been training a neural network that learns how to play NetHack, an old roguelike game, that looks like in the screenshot. Recenlty, something unexpected happened. pic.twitter.com/AFTgRm1gtv—
大規模言語モデル（LLM）において、メモリ使用量の効率化は非常に重要です。特に長文処理を行う場合です。モデルに入力するコンテクストが長くなるほど、メモリ消費量も増加します。 プロンプトに入力する文字数（Token数）と必要メモリについて計算したメモ📝 精度との兼ね合いですが、長文扱うときは、mistral-v0.1圧倒的にコスパ良い pic.twitter.com/Nqn5SXDZ9u — AI𝕏サトシ⏩ (@AiXsatoshi) May 27, 2024 Mistral-7Bは、v0.1では、約4K tokensのSliding window attention(SWA)にて、コンテクスト長に消費されるメモリを低減しました。しかし、性能への影響からと考えますが、v0.2以降のアップデートで、SWAは排除されています。入力トークンを絞ることでメモリ容量を低減すれば、当然複雑性や表現力
予期せぬバグの原因は「満月」だった
技術者のバルトウォミェイ・クピアウ氏が、ローグライクゲーム「NetHack」の遊び方を学習するニューラルネットワークのトレーニングをする中で出会った、過去に見た中で最も不思議なバグについての話を披露しています。 So here's a story of, by far, the weirdest bug I've encountered in my CS career. Along with @maciejwolczyk we've been training a neural network that learns how to play NetHack, an old roguelike game, that looks like in the screenshot. Recenlty, something unexpected happened. pic.twitter.com/AF
NVIDIA GeForce RTX 5090 GPU は巨大なモノリシック GB202「Blackwell」ダイを搭載 - ハオのガジェット工房
AI-Assistantを大きめのアップデートをしたので、新機能の紹介です。 【更新履歴】 2024/05/24 fanbox支援者様のみに先行公開 2024/05/27 全体公開 【DL先】https://drive.google.com/file/d/1H9FwWMOZLa-hcX3_lXadmdy-VcNrNmCj/view?usp=sharing 予備URL： https://www.dropbox.com/scl/fi/xkpemko76kyhaot133g3p/AI_Assistant.zip?rlkey=g0recmef48a5sx5hh66mflge5&st=ft1ja0yl&dl=0 【はじめに】サイゼ〇ヤのアロ〇ティチーニを照れながらアーンしてくれるオークの彼氏のイラストが欲しいって時、結構ありますよね。私はあります。 そんな時AI-AssistantV2があれば、サ〇
【初心者向け】【無料で作れる】高画質なAIイラスト・AI画像の簡単な作り方（その６）「ローカルPCでStable Diffusion XLを使う（GeForce RTX3060）」
Stable Diffusion XLとは？ Stable Diffusion XLとは「Stable Diffusionでより高画質なAIイラストを作成するもの」という理解で良いのではないかと思います （正確に言うと「Stable Diffusion用の高画質画像モデル」な「モデル」という話みたいです） Stable DiffusionではGeForce1060/1660のメモリ6Gバイトなど「ビデオメモリが6Gバイト以下のビデオカード」でも（無理やり）動いていたのですが、Stable Diffusion XLを使う為にはビデオカードのメモリが8Gバイト以上など無いと難しいかもしれません （私はGeForce RTX 3060（12GB）に交換したタイミングで試しました） （※）私は12Gで試したので8Gについてはコメントできないのですが、公式で「8G以上で動くはず」と書いてあるみたいで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chainer ⇒ PyTorch移行を試してみた - Qiita
ImageNet について考える (2) — Tiny ImageNet の分類
マルチノードGPU通信をやってみた | IIJ Engineers Blog
半導体だけじゃないエヌビディアの強さ、18年前に打った「くさび」
Hugging Face ZeroGPU のチュートリアル｜ぬこぬこ
Google Colabで時系列基盤モデルを試す③：IBM granite｜はち
LLM サービング効率化の為のPagedAttention
PostgreSQL、 Apache Arrowフォーマットのファイル読めるってよ！ - Qiita
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
北森瓦版 - GeForce RTX 5090のメモリインターフェースは448-bitの可能性？
NVIDIA、驚異の“株価3400倍”上昇のワケ 「時価総額世界一」の座は手に入るか
Win11 フォートナイトの FPS を上げる NVIDIA の設定
第56回 Plamo LinuxとNVIDIA GPU | gihyo.jp
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
ローカルLLMの長文推論、メモリ使用量を節約する方法:KVキャッシュの量子化｜AIサトシ
BERTでembeddingした文書をクラスタリングしてWordCloudsで分析する - Qiita
お絵描き補助AIアプリ『AI-AssistantV2』公開！｜とりにく