スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋がったのか？ それともスパコンとAIは関係ない？ 脱Android、Huaweiが独自OS「HarmonyOS NEXT」てのがニュースなったけど これもスパコン技術が応用されてそこから生まれてたりするの？ スパコン予算をすべてに優先してたら日本産独自OSとか日本産AIに繋がってたんだろうか？ つながらない OSはもうぜんぜんまったく完璧に関係ないのでAIについてだけ説明する まず2010年代に始まった第3次AIのブームはソフトウェアというかアルゴリズムのブレークスルーがきっかけ カナダのYoshua Bengio、Geoffrey Hinton、Yann LeCunの3人がディープニューラルネットワークに関する発見をしたこと 3人はこの業績で「ディープニューラルネットワークがコンピューティングの重要な要素となるた
GitHub - NVIDIA/multi-gpu-programming-models: Examples demonstrating available options to program multiple GPUs in a single node or a cluster
This project implements the well known multi GPU Jacobi solver with different multi GPU Programming Models: single_threaded_copy Single Threaded using cudaMemcpy for inter GPU communication multi_threaded_copy Multi Threaded with OpenMP using cudaMemcpy for inter GPU communication multi_threaded_copy_overlap Multi Threaded with OpenMP using cudaMemcpy for itner GPU communication with overlapping c
今年の3月ごろに話題になって、それから僕も実験してみたけどさっぱり学習できないBitTransformerに変わり、新たにMutmulFreeTransformerというものが出てきたようだと、NOGUCHI, Shojiさんが教えてくれたので試してみた LLM 1Bパラメータで行列計算を完全に排除できた（らしい）。メモリ消費量を学習時10倍、推論時61%Max削減（らしい）。https://t.co/tB3x1kmo4Fhttps://t.co/pb0YgAKSpw HFにモデルがアップロードされているので試してみよう。 学習は8x H100で370M:5h、1.3B: 84h、2.7B: 173hらしく1x 4090は厳しい — NOGUCHI, Shoji (@noguchis) June 26, 2024 ただ、2.7Bモデルが量子化なしで4090で推論できてるとしたらそれだけです
DeepSpeedはなぜ速いのか〜推論編〜
はじめに 昨今、ChatGPTに代表されるように、LLM（大規模言語モデル）が大きな盛り上がりを見せています。 本記事では、LLMの学習や推論を高速化するためのライブラリであるDeepSpeedが、どのようにしてその高速化を達成しているのかを解説します。 DeepSpeedの理論部分、特に推論について日本語で解説している記事があまりなかったため、今回執筆することにしました。 この記事を読んで欲しい人 DeepSpeedでなぜ推論が速くなるのかを知りたい人 DeepSpeedを使って手元の推論時間を短縮したい人 DeepSpeedとは DeepSpeedは、Microsoftから発表されている学習や推論の高速化、圧縮などを扱うライブラリです。本記事では、特に推論の高速化について解説します。推論高速化のためのサービスとしては、他にもvLLMやTGI、Together Inference Eng
画像生成AI「Stable Diffusion」を「Copilot+ PC」で動かしたらどうなる？（窓の杜） - Yahoo!ニュース
■ AIに強い「Copilot+PC」なら「Stable Diffusion」も快適？ 【画像】「Stability Matrix」。複数のUI環境を簡単に共存できる PCのAI機能を拡充する「Copilot+ PC」。弊誌でもAI機能を試す記事を掲載している。画像生成AIなどいくつかの機能が使えて、PCの未来を体感できる内容になっている。 とはいえAIは「Copilot+ PC」の専売特許ではない。今回は画像生成AIが広く知られるのに大きな役割を果たした「Stable Diffusion」を、6月に発売されたばかりの「Copilot+ PC」で動かしたらどうなるのかを試してみることにした。 使用するのはMicrosoftからお借りした「Surface Laptop 13.8インチ（第7世代）」だ。スペックは下記のとおり。 今回お借りした機材は、CPUがSnapdragon X Elite
What is this? Googleの言語モデルgemma-2-27b-itをGGUFフォーマットに変換したものです。 imatrix dataset 日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。 なお、謎のエラー「GGML_ASSERT: D:\a\llama.cpp\llama.cpp\ggml\src\ggml-cuda.cu:1257: to_fp32_cuda != nullptr」を回避するため、imatrixの算出においてはf16精度のモデルを使用しました。 Chat template <start_of_turn>user ここにpromptを書きます<end_of_turn> <start_of_turn>model Note llama.cpp-b3266以降でのみご
Style-Bert-VITS2のライブラリを使ってテキストから音声に変換します。 Style-Bert-VITS2は、テキストを感情豊かな音声を生成するBert-VITS2 v2.1をもとに、感情や発話スタイルを強弱込みで自由に制御できるようにしたツールです。 実行環境 ・Windows 10 ・python 3.10.11 ・style-bert-vits2 2.5.0 環境構築仮想環境の作成venvモジュールを使用して仮想環境を作成します。.venvは仮想環境のディレクトリ名です。 python -m venv .venv作成した仮想環境を有効化 .venv\Scripts\activate環境が有効かされると、コマンドプロンプトが以下の様に変更されます。（.venvの部分が仮想環境名を表しています） (.venv) $ ライブラリのインストールstyle-bert-vits2ライブ
「LLM 1Bパラメータで行列計算を完全に排除できた。メモリ消費量を学習時10倍、推論時61%Max削減」らしいMatMul-Free LMを試してみます。 LLM 1Bパラメータで行列計算を完全に排除できた（らしい）。メモリ消費量を学習時10倍、推論時61%Max削減（らしい）。https://t.co/tB3x1kmo4Fhttps://t.co/pb0YgAKSpw HFにモデルがアップロードされているので試してみよう。 学習は8x H100で370M:5h、1.3B: 84h、2.7B: 173hらしく1x 4090は厳しい — NOGUCHI, Shoji (@noguchis) June 26, 2024 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 6
さて、おうちで動画生成は難しいという結論になりました。 Open Soraを使っておうちのWindowsで動画生成する - きしだのHatena ということで、GPUサーバー借りてやるのがいいのではと、Google Colabで試してみました。それなりに動画が生成できたので、末尾にいろいろ載せてます。 無償で使えるT4は16GBのGPUでOpen Soraは動かないので、課金が必要です。というか、24GBのL4でもout of memoryだったので、40GBのA100が必要です。 ガチャがんばろう。 最初にネタバレですが、セットアップだけで5コンピューティングユニットくらい消費します。 インストール CUDAが12.2なので、12.1にダウングレードする必要があります。 NVIDIAのサイトのスクリプトだと「最新は12.5やで」みたいなメッセージを出して12.5をインストールしてしまうの
IC-Light導入手順書｜BD
この記事では、Windows11環境へのIC-Lightプロジェクトの初回セットアップからデモアプリケーションの起動、2回目以降の簡単な起動方法までを解説します。 IC-Lightってなに？ControlNetの作者が作った新ツールです！ すでにある画像の照明の調整…だけでなく背景の再生成などもできます！ Pythonの仮想環境が利用できる前提です。 （StableDiffusionなどを利用している場合はおそらく入ってると思います） Nvidiaのグラボ前提です。 1. 初回セットアップターミナルの起動1.ターミナルを起動 エクスプローラーでインストールしたいフォルダを開いて、「右クリック」→「ターミナルで開く」でターミナルを起動しましょう。 ターミナル画面リポジトリのクローン2.GitHubからリポジトリをクローン 以下のコマンドでIC-Lightプロジェクトをローカルにクローンします
液体のシミュレーションに特化したBlenderアドオンのFlip Fluidsと、Blenderに備わっているOceanモディファイヤで生成できる海シミュレーションの連携方法のメモ記事です。 ※自分のメモ用なので、雑ですが許してください。（現在作成中） Flip FluidsとOcean Modifier Flip Fluids公式サイト FLIP Fluids Addon for Blender – FLIP Fluids Addon For Blenderflipfluids.com Blender Market Flip FluidsFLIP Fluids is a powerful liquid simulation addon that helps you create high quality fluid effects all within Blender!blenderma
この記事は有名な画像生成AIであるStable Diffusionの使い方を説明する入門です。 画像生成AIに興味を持ったけどどうやって始めるからわからない人にとっておすすめです。簡単についていけるようにまず簡単な最低限のコードから例を見せてからどんどん説明を追加していきます。 はじめに きっかけ 私はずっと前から生成AIに興味を持って2018年の時にDCGANに挑戦したこともあって、ここで記事も書いたのです。 DCGANを使ったら絵が描けない私でもある程度新しい絵が作れるようになって嬉しいことです。 しかしあの時のDCGANでは満足できそうな画像が作れなくて限界を感じてしまいました。実用レベルはまだまだでした。 当時はあれで精一杯だったのですが、技術の発達は本当に速いものです。あれから時間が経って2022年になって漸くStable Diffusionが現れました。 これを使ったら本物のイ
技術解説 Egaroucid
Tweet Egaroucid 技術解説 This page is only in Japanese. Translation by Google Translator is here. ここに書いた内容は初心者向きではありません。オセロAI初心者向け記事はこちらに書きました。 このページは日本語のみの雑多なオセロAI関連の技術文書です。のんびりと気が向いたときに書き足していきます。章立ての順番に意味はありません。読みたいところだけをぜひお読みください！ 最終更新: 2024/06/10 目次探索アルゴリズムの選定(minimaxかMCTSか)評価関数の精度合法手数スコアを最大化するゲームである点完全読みの実装双方のアルゴリズムで実験してみた結果個人的な面白さ評価関数のモデル石評価パターンその他の特徴量精度と速さのトレードオフNNUE評価関数評価関数の学習データ中盤以降の学習データの作り方
ハーバードの学生とインテルの元副社長、NVIDIAの最新GPUより20倍速いAIチップを開発 : PCパーツまとめ
2024年06月29日00:01 ハーバードの学生とインテルの元副社長、NVIDIAの最新GPUより20倍速いAIチップを開発 カテゴリニュース 1: 名無しさん＠涙目です。(北海道) [US] 2024/06/27(木) 13:25:44.98 ID:S+wPRdSq0 https://ascii.jp/elem/000/004/206/4206328/ 最大の特徴は、Transformerアーキテクチャーのみに特化した設計を採用したことだ。この専門化により、Sohuは汎用GPUと比べて大幅な性能向上を実現できると同社は主張する。 実際、NVIDIAの最新GPUと比べて20倍以上の処理速度を達成し、同時に消費電力を抑えられるという。これは、チップ上の面積を最大限に活用し、Transformerの処理に最適化された単一の大型コアを採用することで実現している。 ただし、その代償としてTran
IC-Lightを使用して人物画像のリライティングを行う
ポートレートの背景置換と照明の調整を行いリアルな合成写真を生成することができるIC-Lightについて紹介します。 実行環境 公式のインストール方法とForgeでの利用方法の2つを紹介します。実行時の環境は以下になります。 OSWindows11 23H2IC-Light93654060598069b8a6b481bf24057cb015ea9e93（ハッシュ）SD Forge IC Light757d4304bc3e57356c0edc2efbc5d0ae51e07f97（ハッシュ） ソフトウェア要件 公式のインストール方法ではインストールする前に必要なソフトがあります。 Git Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。 Git – Downloading Package 64-bit Git for Windows Setup.をダウンロード
Lama-Cleanerは、Adobe Fireflyにほぼ近い機能を持つ画像修正用のオープンソースAIで、今ではStable Diffusionによる画像生成と組み合わせて使用することが一つの定番といってもいいAIと言えます。 実際、SD A1111用の拡張機能(https://github.com/aka7774/sd_lama_cleaner )も公開されており、この拡張機能を使用すればA1111に統合した形で、Lama-Cleanerをインストールすることも可能です。 しかし、この拡張機能にはいくつか弱点もあります。 Lama-CleanerもまたSDと同様にPythoehを使用して動作するAIである為、当然CUDAを使用した方が高速に動作しますが、A1111用のLama-Cleanerはデフォルト設定ではCUDAを使用しないcpuモードで起動します。 (但し、拡張機能そのものの設
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋..
BitTransformer界隈に激震!ついに使える乗算フリーLLMが登場!?｜shi3z
インデックス以外に持っている個別株トップ5 - FIRE: 投資でセミリタイアする九条日記
エヌビディア一強が崩れる可能性も 米中共同で開発が進む「大規模言語モデル」の革命的な進化 | マネーポストWEB
grapevine-AI/gemma-2-27b-it-gguf · Hugging Face
Style-Bert-VITS2ライブラリの使い方｜しろ
WSL2でMatMul-Free LMを試してみる｜noguchi-shoji
エヌビディア一強が崩れる可能性も 米中共同で開発が進む「大規模言語モデル」の革命的な進化 | マネーポストWEB
Open SoraをGoogle Colabで動かして高速動画生成 - きしだのHatena
GeForce GTX 1050のスペック＆性能ベンチマークを検証【2024年】 ｜ ゲーミングPC徹底解剖
Flip FluidsとOcean Modifierの連携【Blender】
猫耳とdiffusersで始めるStable Diffusion入門 - Qiita
【Mac】書き出しに35時間…うそだろ… - Archetype++
Lama-CleanerをSD A1111に統合してインストールする方法について - Qiita