[B! GPU] hamamuratakuoのブックマーク

「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」

米AIスタートアップ﹁Etched﹂は6月25日︵現地時間︶、ChatGPTなど最新のAI 技術の基盤となっている﹁Transf ormer﹂アーキテクチャーに特化したチップ﹁Sohu﹂を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transf ormer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの﹁Sohu﹂は、ASIC︵Application-Specific Integrated Circ uit‥特定用途向け集積回路︶と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定

hamamuratakuo 2024/06/27

AI
GPU

リンク

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pmJST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。いくつかの興味深い事象が起きているからだ。昨日発表されたKarakuri社のLLM、﹁KARAKURI LM 8x7B Instruct v0.1﹂は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の﹁命令実行﹂チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

hamamuratakuo 2024/06/22

魚AI https://sakana.ai/ のように、AIを組み合わせて補完する技術も今後発展していきそうですね？AIの組合せ方もチューニングのコツになってくるかも？

リンク

AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！

空前のAIブームの中にあって、その開発の現場で﹁一人勝ち﹂とも言うべき圧倒的なシェアを誇っているNvidia︵エヌビディア︶のGPU向け開発環境﹁CUDA﹂。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ﹃週刊 Life is beautiful﹄では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の﹁事実上の標準﹂となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した﹁Copilot+PC﹂に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題‥NvidiaのCUDAが今の地位を築いた経緯プロフィール‥中島聡︵なかじま・さとし︶ブロガー／起業家／ソフトウェア・エンジニア、工学修士︵早稲田大学︶／MBA︵ワシ

hamamuratakuo 2024/06/09

AI
GPU

リンク

エヌビディア株価上昇時価総額アップルを抜き世界2位に | NHK

生成AI向けの半導体を手がけるアメリカの半導体大手、エヌビディアの株価が上昇し、企業の価値を示す時価総額が5日、初めて3兆ドルを超え、IT大手のアップルを抜いて世界2位となりました。AI需要の高まりへの期待が背景にあります。5日のニューヨーク株式市場では生成AIの利用の急速な拡大でAI需要が高まっていることへの期待からハイテク関連銘柄に買い注文が膨らみました。中でも生成AI向けの半導体を手がけ、業績が好調なエヌビディアの株価の終値は、1224ドル40セントと前日と比べて5.1％の大幅な上昇となりました。このため、企業の価値を示す時価総額は初めて3兆ドル、日本円で468兆円を超えてアップルを抜き、マイクロソフトに次いで世界2位となりました。時価総額が3兆ドルを超えるのはアップルとマイクロソフトに次いで史上3社目です。また、ハイテク関連銘柄の多いナスダックの株価指数は1.9％の大幅な

hamamuratakuo 2024/06/06

リンク

NVIDIA、時価総額Apple抜き世界2位　3兆ドル超え - 日本経済新聞

【シリコンバレー=渡辺直樹】米エヌビディアの時価総額が5日、3兆ドル（約468兆円）を突破し、米アップルを抜いて米マイクロソフトに続く世界2位となった。3兆ドルの大台に乗るのは史上3社目。生成AI（人工知能）の開発や処理に使う半導体の需要拡大への期待から株価は上場来高値を更新し続けている。エヌビディアの株価は5日、終値で前日比5%上昇し、QUICK・ファクトセットによると、時価総額は3兆118

hamamuratakuo 2024/06/06

リンク

エヌビディア、時価総額３兆ドル超え－アップル抜く（Bloomberg） - Yahoo!ニュース

A Nvidia Corp. artificial intelligence supercomputing graphics processing unit. ︵ブルームバーグ︶‥ 米エヌビディアの株式時価総額が5日、初めて3兆ドル︵約468兆円︶を超えた。すでに世界で最も価値のある半導体企業だったが、ここにきてコンピューター・チップ企業として史上初めて時価総額3兆ドル台に達した。人工知能︵ＡＩ︶タスクに使用される同社製チップの需要急増を追い風に、株価は今年、約147％上昇し、時価総額は約1兆8000億ドル増加した。5日終値は前日比5.2％高の上場来高値1224.40ドル。時価総額は3兆ドルを超え、アップルを抜いた。

hamamuratakuo 2024/06/06

人工知能︵ＡＩ︶に使用される同社製チップの需要急増を追い風に、株価は今年、約147％上昇し、時価総額は約1兆8000億ドル増加した。5日終値は上場来高値1224.40ドル。時価総額は3兆ドルを超え、アップルを抜いた。 ●経済 ●AI ●GPU

リンク

NVIDIA、AI需要で過去最高の売上高　「次の産業革命が始まった」とファンCEO

米半導体大手のNVIDIAは2月21日︵現地時間︶、2024年第1四半期︵2024年2月～4月︶の決算を発表した。AIの旺盛な需要を追い風に、売上高は前年同期比262％増︵約3.6倍︶の260億4400万ドルと過去最高だった。純利益は628％増︵約7.3倍︶の148億8100万ドル︵1株当たり5.98ドル、非GAAPでは6.12ドル︶だった。売上高、純利益ともに、アナリスト予測︵売上高は246億5000万ドル、非GAAPの純利益は5.59ドル︶を大きく上回った。ジェンセン・ファンCEOは発表文で﹁次の産業革命が始まった。企業や国がNVIDIAと提携し、1兆ドル規模の従来のデータセンターをアクセラレーテッドコンピューティングに移行し、新種のデータセンター︵AIファクトリー︶を構築して、AI製品を生産している﹂と語った。主力のデータセンター向け半導体の売上高は、AI関連製品が引き続き好調

hamamuratakuo 2024/05/23

リンク

1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代昨今、ローカルGPUで駆動できるようなLLM︵大規模言語モデル︶もかなり増えてきて、キャッチコピー的に﹁ついに我が家にもGPT-4が！﹂とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。大きなモデルをGPU寄せ集めしつつ遊びたい！しかしながら、コンシュマー向けのGPUにおいては、7B

hamamuratakuo 2024/05/08

リンク

NVIDIAが音声認識追加や画像検索改善を行ったAIチャットボット「ChatRTX」を公開

NVIDIAが、AIチャットボット「ChatRTX」でサポートするLLMを追加して画像検索機能の改善や音声認識機能の追加を行ったことを発表しました。 Build a Custom LLM with ChatRTX | NVIDIA https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/ ChatRTX Adds New AI Models and Features | NVIDIA Blog https://blogs.nvidia.com/blog/ai-decoded-chatrtx-update/ Nvidia’s AI chatbot now supports Google’s Gemma model, voice queries, and more - The Verge https://www.theverge.com/2024/5/1/

hamamuratakuo 2024/05/04

AI
GPU

リンク

NVIDIAのローカルAI「ChatRTX」、AIモデル追加で画像認識や音声入力が可能に／

hamamuratakuo 2024/05/04

NVIDIAは、GeForce RTX搭載PCのローカル環境でAIチャットボットを利用できる「ChatRTX（旧称：Chat With RTX）」を更新。新たにサポートする大規模言語モデル（LLM）などを発表した。「Whisper」によって音声入力が可能となった。

リンク

Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)

Stable Diffusionを代表とする画像生成AIにおいて、生成スピードを上げるにはより強力なGPUが必要だ。GeForceならRTX 4090のような最強のGPUが使えればいいが、誰もが手にできる価格とは言い難い。となればビデオカードを複数枚使用してStable Diffusionの生成スピードが向上しないだろうか？　と考えるのは自然な流れだが、今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。しかし、Stable Diffusion︵とAutomatic 1111︶をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。玄人志向の製品紹介ページには、まさにそういった記述が存在する。玄人志向公式サイトの製品紹介ページには、複数のビデオカードを使うとStable Diffusionの生成速度がほぼ倍

hamamuratakuo 2024/05/04

今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。しかし、Stable Diffusion（とAutomatic 1111）をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。

リンク

GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応

hamamuratakuo 2024/05/03

音声認識AI「Whisper」も利用可能になっており、PCのマイクを使ってチャットボットと対話できるようになった。

リンク

「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場

コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで

hamamuratakuo 2024/05/01

adammaj氏はNVIDIAのCUDAの学習からスタートし、GPUソフトウェアのパターンを理解しようとしたそうです。これにより、カーネルと呼ばれるGPUプログラムの作成に使用されるSIMDプログラミングパターンを理解することができた

リンク

NVIDIA、AI/ML開発者向けツールキット「NVIDIA AI Workbench」の一般提供を開始

NVIDIAは2024年3月21日（米国時間）、AI（人工知能）およびML（機械学習）開発者向けツールキット「NVIDIA AI Workbench」（以下、AI Workbench）の一般提供を開始した。公式サイトから無料でダウンロードできる。AI Workbenchの自動化機能により、開発初心者にとってのハードルを取り除き、専門家の生産性向上を支援するとしている。開発者はAI Workbenchを使うことで、スキルレベルにかかわらず、高速で信頼性の高いGPU環境を構築し、異種プラットフォーム間で自由に作業、管理、コラボレーションができる。「NVIDIA AI Enterprise」のライセンスを購入すれば、エンタープライズサポートも受けられる。 AI Workbenchの特徴関連記事 IBM、2024年に注目すべき9つのAIトレンドを解説 IBMは、2024年に注目すべき最も重要な

hamamuratakuo 2024/03/28

リンク

「伝説」のエンジニアのジム・ケラー氏、GPUの次探る　NVIDIAに対抗へ - 日本経済新聞

生成AI︵人工知能︶の計算基盤となる画像処理半導体︵GPU︶の代替技術を探る動きが広がってきた。もともとゲーム向けに進化しており、大量の電力を消費してしまう課題があるためだ。カナダや米国の新興企業が生成AIに適した半導体を開発し、GPUで約8割のシェアを握る米エヌビディアに挑んでいる。﹁最初の顧客になることを期待したい﹂。日本で最先端半導体の製造受託を目指すラピダスの小池淳義社長は11月、懸案

hamamuratakuo 2023/12/18

AI
GPU

リンク

15万台のNVIDIA H100 GPUをMetaとMicrosoftが購入したとの分析、Google・Amazon・Oracleの3倍

NVIDIAの2024年第3四半期における収益が前年比206％増となり、過去最高を記録しました。生成AIの普及により機械学習に求められるGPUの需要が格段に増し、データセンターを運営する企業との取引が好調であるとの分析が行われています。 NVIDIA Announces Financial Results for Third Quarter Fiscal 2024 | NVIDIA Newsroom https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-third-quarter-fiscal-2024 Nvidia sold half a million H100 AI GPUs in Q3 thanks to Meta, Facebook — lead times stretch up to

hamamuratakuo 2023/11/30

AI
GPU

リンク

【西川和久の不定期コラム】 Stable Diffusion高速化技術続々登場！TensorRT、SSD-1B、LCMなどを試してみる

hamamuratakuo 2023/11/09

リンク

【特集】同じ「4060」と「4090」だけど……GeForceのデスクトップとノートはどのぐらい違う？

hamamuratakuo 2023/10/25

リンク

生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？メタやテスラが抱える驚きのGPU数

現在シリコンバレーで最も注目される話題は﹁GPU不足﹂といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した﹁GH200﹂にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU﹁H100﹂や﹁A100﹂は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上