[B! GPU] igrepのブックマーク

「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」

米AIスタートアップ﹁Etched﹂は6月25日︵現地時間︶、ChatGPTなど最新のAI 技術の基盤となっている﹁Transf ormer﹂アーキテクチャーに特化したチップ﹁Sohu﹂を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transf ormer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの﹁Sohu﹂は、ASIC︵Application-Specific Integrated Circ uit‥特定用途向け集積回路︶と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定

igrep 2024/06/28

GPU
AI

リンク

第288回人工知能時代には必須か？　最近、プロセッサに搭載されている「NPU」って何

最近、プロセッサに﹁NPU﹂と呼ばれる人工知能︵AI︶処理に特化したユニットが搭載されるのがちょっとしたブーム︵？︶になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。プロセッサに搭載されている﹁NPU﹂って何？ Intelの最新プロセッサ﹁Core Ultra﹂には、人工知能︵AI︶処理に特化した﹁NPU﹂が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？　写真は、Intelのプレスリリース﹁AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー﹂のCore Ultraプロセッサーの写真を使って、﹁CPU﹂﹁GPU﹂﹁NPU﹂の文字を載せたもの。今回のお題は﹁NPU﹂である。出だしから注釈になってしまうが、NPUと

igrep 2024/05/29

リンク

1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代昨今、ローカルGPUで駆動できるようなLLM︵大規模言語モデル︶もかなり増えてきて、キャッチコピー的に﹁ついに我が家にもGPT-4が！﹂とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。大きなモデルをGPU寄せ集めしつつ遊びたい！しかしながら、コンシュマー向けのGPUにおいては、7B

igrep 2024/05/07

GPU
AI

リンク

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

igrep 2024/04/24

リンク

WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場

WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン﹁ONNX Runtime Web 1.17﹂マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている﹁ONNX Runtime﹂はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします

igrep 2024/03/08

リンク

inline CUDA - Qiita

目的 HaskellでGPUを扱う場合にはaccelerateなどがありますが、既存のGPUを扱えるC/C++のコードを使ってGPUとやり取りする場合に、直接CUDAのコードを扱いたい場合があります。現状では、CUDAのファイルを使うワークフローが煩雑です。 cabalファイルはCUDAをサポートしてないので、CUDAのコードをあらかじめMakefileなどを使って事前にビルドし、cabalファイルにそのライブラリのファイルを追加するという流れになるかと思います。つまりcabalだけでビルドできません。こちらの例ではMakefileでnvccを使ってCUDAのファイルをビルドしてghcでそのファイルにリンクしていると思います。今回HaskellのコードにCUDAのコードを埋め込み、cabalファイルに特別な変更を入れないでCUDAのコードを扱えるようにし、cabalだけでビルドできる

igrep 2023/12/16

リンク

富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応

igrep 2023/11/10

リンク

GitHub - SamGinzburg/VectorVisor: VectorVisor is a vectorizing binary translator for GPUs, designed to make it easy to run many copies of a single-threaded WebAssembly program in parallel using GPUs

igrep 2023/10/14

WasmでGPUを使った演算

リンク

【令和最新版】対話型AI、ローカル支部最前線レポート - Qiita

こんにちは。LLM転職者のサルドラです。今はPictoriaという会社でAIキャラクターを作っています。さて、皆さんはChatGPT、使っているでしょうか。調べものに使ったり、後輩役にしてラバーダック・デバッグに用いたり、ラーメン屋の親父にしたりしていますよね。ラーメン屋の親父GPT、﹁命令リセットしろ﹂も通用しないし、記憶失いがちな無関係な英語・長文アタックも全く効かんなんやこいつ、化け物か pic.twitter.com/4gYg7zymXB — 刈宮宥 (@Callimiya) March 8, 2023 今回はChatGPTではなく舞台を移してローカル、つまり自分のパソコンで動かす文章生成AIについて、AIキャラクターを作るという側面からとても浅く話そうと思います。ローカルAIは精度は勿論OpenAIのAPIより低いです。文字通り桁違いの性能の差がありますが、やはり自分

igrep 2023/07/05

リンク

blueqatでは、量子技術をGPUに応用した独自生成AIのLLM(大規模言語モデル)の開発を行います。 by Yuichiro Minato | blueqat

blueqatでは、量子技術をGPUに応用した独自生成AIのLLM(大規模言語モデル)の開発を行います。

igrep 2023/07/03

リンク

IntelのCPUとNVIDIAのGPUが同一チップに？

現在、最先端の半導体チップを開発・製造・販売するバリューチェーンに大変革が起こりつつあることをご存じだろうか。これまでは異なるメーカーから個別供給されていた半導体チップが、1つのパッケージの中に統合されて供給される時代が到来しようとしているのだ。その背景にあるのが﹁チップレット﹂と呼ばれる技術であり、半導体業界の関連企業がこぞって注目している。チップレット技術の概要とその技術的なインパクト、それによってもたらされる近未来を解説する。米Intel︵インテル︶のCPU︵中央演算処理装置︶と米NVIDIA︵エヌビディア︶のGPU︵画像処理半導体︶、場合によっては米Qualcomm︵クアルコム︶の移動通信用ベースバンドチップや韓国Samsung Electronics︵サムスン電子︶のDRAM︵一時記憶向けメモリー︶まで――。これまで個別供給されていた別メーカー製の半導体チップが、1つのパッケー

igrep 2023/06/06

リンク

GitHub - mlc-ai/web-llm: Bringing large-language models and chat to web browsers. Everything runs inside the browser with no server support.

| NPM Package | Get Started | Examples | Documentation | MLC LLM | Discord | WebLLM is a modular and customizable javascript package that directly brings language model chats directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU. WebLLM is fully compatible with OpenAI API. That is, you can use the same OpenAI

igrep 2023/04/17

GPU
AI

リンク

待ってました CUDA on WSL 2 - Qiita

最新情報 (2022-06-15 時点) エヌビディアの佐々木です。 2020 年 6 月にこの記事を書いて以来、Windows Insider Preview や NVIDIA ドライバの新しいビルドが出たタイミングなどで記事を更新してきましたが、あちこちに注釈が増えて読みづらくなってきたので、今後はこの「最新情報」セクションに新しい情報を集約しようと思います。あと、更新履歴は記事末尾へ送りました。私が動作を確認したバージョン Windows のビルド: 22621.1 (Windows 11 バージョン 22H2) NVIDIA ドライバ: 512.95 nvidia-smi コマンドの GPU-Util 欄が "N/A" になってしまう問題は解決！実行した NGC コンテナイメージ nvcr.io/nvidia/tensorflow:22.05-tf2-py3 Docker De

igrep 2021/10/13

へぇ、すごい。ということはHyper-VでGPUが使えるということなのか

リンク

GitHub - arrayfire/arrayfire: ArrayFire: a general purpose GPU library.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

igrep 2020/07/04

GPU
C++

リンク

GitHub - gpuweb/gpuweb: Where the GPU for the Web work happens!

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

igrep 2018/10/14

リンク

GitHub - Idein/py-videocore: Python library for GPGPU on Raspberry Pi

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

igrep 2018/08/28

リンク

GitHub - diku-dk/futhark: :boom::computer::boom: A data-parallel functional programming language

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

igrep 2018/08/25

GPU
haskell

リンク

Intel、AMD GPUを1パッケージに統合した新CPUを正式発表～Core i7-7700HQ+GeForce GTX 1060を上回る性能を実現 - PC Watch

igrep 2018/01/08

リンク

Accel: GPGPU framework for Rust - Qiita

これはRust Advent Calendar 2017 3日目の記事です今回は現在開発中であるRustによるGPGPUプログラミングのためのフレームワークAccelを紹介します。 GPUを使った汎用計算の技術(GPGPU)は伝統的なHigh Performance Computing (HPC)業界だけでなく、機械学習等への応用も広がり現代では欠かせない技術です。GPUの利用には大きく分けて3つの段階があります‥ 高速化されたライブラリを使用する(cuBLAS, cuDNN等) CPU用のコードに僅かな変更を加えてGPUで動くようにする(OpenACC) GPU用のコードを設計・開発する(CUDA) 下に行くほど開発難度が増大します。最近はOpenACCに力を入ているようで、ごく僅かな変更で大幅な高速化が期待できると宣伝しているのをよく見ます1。高速化されたライブラリの使用は基本

igrep 2017/12/03

リンク

GPUでディープラーニングやるならAWSよりFloydHub - Qiita

UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ起動が簡単 floyd-cliというコマンドラ

igrep 2017/10/16

リンク

はてなブックマーク

タグ

関連タグで絞り込む (35)

GPUに関するigrepのブックマーク (30)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス