CUDAの検索結果1 - 5 件 / 5件

• あとで読む

  エヌビディア一強が崩れる可能性も 米中共同で開発が進む「大規模言語モデル」の革命的な進化 | マネーポストWEB

  • 3 users
  • www.moneypost.jp
  • テクノロジー
  • 2024/06/26

  
  米国財務省は6月21日、国家安全保障を脅かす可能性があるとして、半導体、量子コンピュータ、AIなどのハイテク分野に関して、米国企業による中国企業への投資を禁止、あるいは報告義務を課す規制案を公表した。8月4日までに意見公募を済ませ、年内にも実施される見通しだ。この政策は果たして米国に利益をもたらすだろうか。 この1年の間、大規模言語モデルに関して画期的な進歩をもたらす可能性のある研究論文が発表されており、それらが一部の有識者の間で話題となっている。エヌビディア一強時代を崩すきっかけになるかもしれないという点で注目度の高い論文だが、それらは米中共同開発の形で進められている。 マイクロソフト、中国科学院大学、清華大学の研究者は2023年10月、ニューラルネットで用いられるパラメーターについて、現在使われている16進法による高精度浮動小数点︵4ビット︶を量子化された3つの数字︵-1、0、1︶︵1
  

  • あとで読む

  
• あとで読む

  BitTransformer界隈に激震!ついに使える乗算フリーLLMが登場!?｜shi3z

  • 5 users
  • note.com/shi3zblog
  • テクノロジー
  • 2024/06/26

  今年の3月ごろに話題になって、それから僕も実験してみたけどさっぱり学習できないBitTransformerに変わり、新たにMutmulFreeTransformerというものが出てきたようだと、NOGUCHI, Shojiさんが教えてくれたので試してみた LLM 1Bパラメータで行列計算を完全に排除できた（らしい）。メモリ消費量を学習時10倍、推論時61%Max削減（らしい）。https://t.co/tB3x1kmo4Fhttps://t.co/pb0YgAKSpw HFにモデルがアップロードされているので試してみよう。 学習は8x H100で370M:5h、1.3B: 84h、2.7B: 173hらしく1x 4090は厳しい — NOGUCHI, Shoji (@noguchis) June 26, 2024 ただ、2.7Bモデルが量子化なしで4090で推論できてるとしたらそれだけです

  
• あとで読む

  スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋..

  • 41 users
  • anond.hatelabo.jp
  • テクノロジー
  • 2024/06/26

  スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋がったのか？ それともスパコンとAIは関係ない？ 脱Android⁠⁠、Huaweiが独自OS「HarmonyOS NEXT」てのがニュースなったけど これもスパコン技術が応用されてそこから生まれてたりするの？ スパコン予算をすべてに優先してたら日本産独自OSとか日本産AIに繋がってたんだろうか？ つながらない OSはもうぜんぜんまったく完璧に関係ないのでAIについてだけ説明する まず2010年代に始まった第3次AIのブームはソフトウェアというかアルゴリズムのブレークスルーがきっかけ カナダのYoshua Bengio、Geoffrey Hinton、Yann LeCunの3人がディープニューラルネットワークに関する発見をしたこと 3人はこの業績で「ディープニューラルネットワークがコンピューティングの重要な要素となるた

  • AI
  • 増田
  • 人工知能
  • techfeed
  • 企業
  • ビジネス

  
• あとで読む

  インデックス以外に持っている個別株トップ5 - FIRE: 投資でセミリタイアする九条日記

  • 4 users
  • www.kuzyofire.com
  • テクノロジー
  • 2024/06/25

  
  ぼくはインデックス投資家を自認していますが、実はインデックスは資産のうち35％で残りはいろいろな資産に分散されています。中でもボリュームが大きめなのが個別株。全体の10.6％を占めています。今回はこちらの紹介です。 番外 Microsoft 5位　NVIDIA 4位　Meta 3位　Amazon 2位　Google 1位　ARCC︵エイリスキャピタル︶ 各社のファンダメンタルズ 個別株の株価推移 番外 Microsoft まずは番外編から。トップ5に漏れたのはMicrosoftでした。こちら2023年の11月20日あたりに購入し、円建てで29.6％も上昇しています。 ぼくの総資産に占める割合はわずかに0.45%ですが、世界トップクラスの時価総額を持つこの銘柄、S&P500の中では7.19％ものシェアを持っています。 Microsoftは今やクラウド︵Azure︶の会社であり、AIの会社です
  

  
• あとで読む

  DeepSpeedはなぜ速いのか〜推論編〜

  • 4 users
  • zenn.dev/yasu52
  • テクノロジー
  • 2024/06/24

  はじめに 昨今、ChatGPTに代表されるように、LLM（大規模言語モデル）が大きな盛り上がりを見せています。 本記事では、LLMの学習や推論を高速化するためのライブラリであるDeepSpeedが、どのようにしてその高速化を達成しているのかを解説します。 DeepSpeedの理論部分、特に推論について日本語で解説している記事があまりなかったため、今回執筆することにしました。 この記事を読んで欲しい人 DeepSpeedでなぜ推論が速くなるのかを知りたい人 DeepSpeedを使って手元の推論時間を短縮したい人 DeepSpeedとは DeepSpeedは、Microsoftから発表されている学習や推論の高速化、圧縮などを扱うライブラリです。本記事では、特に推論の高速化について解説します。推論高速化のためのサービスとしては、他にもvLLMやTGI、Together Inference Eng