Ubuntu 24.04@WSL2にCUDAをインストールする（libtinfo5が見つからない問題） - Qiita
まとめ 2024/4/29現在、以下のコマンドでCUDAをWSL2上のUbuntu 24.04 LTSにインストールできます $ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb $ sudo tee /etc/apt/sources.list.d/jammy.list << EOF deb http://archive.ubuntu.com/ubuntu/ jammy universe EOF $ sudo tee /etc/apt/preferences.d/pin-jammy <<EOF Package: * Pin: release n=
0002（ヽ´ん`）🏺 警備員[Lv.10(前30)][苗] (ｺｰﾄﾞﾓW 972e-AL43)垢版 | 大砲2024/05/05(日) 17:40:13.40ID:8s8SA7Uu00505 もっともつやろ 快適に使えるのがって意味なら分かる 0003顔デカ 警備員[Lv.25(前14)][苗] (ｺｰﾄﾞﾓW faa0-HArO)垢版 | 大砲2024/05/05(日) 17:40:15.29ID:sNWr7b8100505 ただしパーツ更新で延命可能 0004番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.15(前26)][苗] (ｺｰﾄﾞﾓ fab3-0+0w)垢版 | 大砲2024/05/05(日) 17:40:16.55ID:GugWCBJj00505 グラボだけ換えれば10年いける 0005番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.16(
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
背景 CUDA 開発環境とか入れるのめんどい PC 環境変えたら毎回開発環境入れるのめんどい 自前アプリを CI ビルドするときとか最小限の構成にしたい. clang から CUDA コードから直接 PTX(as) 吐きたい なるべく素の機能を使って, C コードと共存したいとか, あとで OpenCL C に移行しやすくしたいとか. NVRTC(JIT compile) のテストとしてオフラインコンパイルを確認したいとか Clang CUDA モード? 最近の nvcc(clang/LLVM ベース)は, その通り基本 clang/LLVM のコードを使っている(clang/LLVM に対応コードがコミットされている)ので, clang/LLVM では CUDA 対応(CUDA 構文パースや PTX コード生成)が施されています. C++ STL も多少は利用できるようです. CUDA
コグノスケ
CUDA ToolkitとcuDNNの概要CUDA ToolkitはNVIDIAの提供するGPGPUのためのプラットフォームです。cuDNNはNVIDIAの提供するDNNのためのライブラリです。 ailia SDKは単独でもCPUやGPU（Vulkan）を使用した推論が可能ですが、NVIDIA GPUでは、CUDA ToolkitとcuDNNを導入することで、より高速な推論が可能になります。 CUDA Toolkitのインストール下記のページのDownload Nowからインストールします。
CUDAのインストールの覚え書きです。 CUDAとは ? NVIDIA社が提供しているGPUを並列計算で活用するためのライブラリです。 昨今のAIを使ったプロジェクトで、Python(PyTorchやTensorFlowなど)から呼び出す際にもコア機能としてよく使われます。 CUDAのインストールに必要なもの NVIDIA製のGPUが必須。 CUDAのソフトウェア構成 以下の2つをインストールします。 cuDNNについては、NVIDIAデベロッパとしてログインする必要があります。 CUDA ToolKit cuDNN CUDA ToolKitをインストール https://developer.nvidia.com/cuda-downloads CUDA 11.8をインストールするには、過去バージョンからダウンロードします。 https://developer.nvidia.com/cuda
「Google Colab」で「DeepSpeed」によるLLMの (LoRAではなく) フルパラメータの指示チューニング (Instruction Tuning) を試したので、まとめました。 【注意】 Google Colab Pro/Pro+のA100で動作確認しています。 前回 1. DeepSpeed「DeepSpeed」は、深層学習モデルの学習や推論の処理を高速かつメモリ消費を抑えて実現することができるライブラリです。 HuggingFaceでサポートしている「DeepSpeed」の機能は次のとおりです。 ・Optimizer state partitioning (ZeRO stage 1) ・Gradient partitioning (ZeRO stage 2) ・Parameter partitioning (ZeRO stage 3) ・Custom mixed pr
苦戦してましたが、同僚のエンジニアの方に教えてもらいました。 クラスターの設定 Azure Databricks ランタイム: 14.3 LTS ML (GPU) ノードタイプ: シングルノード、Standard_NC96ads_A100_v4 Hugging Faceにアクセス モデルへのアクセスが許可されていることを確認してください。 自分のアクセストークンをコピーしておきます。 ノートブックの実行 ライブラリのインポート %pip install -U transformers tiktoken torch accelerate hf_transfer dbutils.library.restartPython() from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer =
【Diffusers】【Video2Video】AnimateDiff + Multi-ControlNet + IP-Adapter + LCM-LoRA + FreeU で動画作成してみる - パソコン関連もろもろ
はじめに最近Diffusers Community Pipeline内にある「pipeline_animatediff_controlnet.py」のバグが修正されました。 github.com それに伴い過去の記事を少し書き直してみました。 touch-sp.hatenablog.com 変更点・FreeUを追加した ・「os」→「pathlib」に変更した ・「argparse」→「typer」に変更したPC環境 Windows 11 CUDA 11.8 Python 3.12 Python環境構築 pip install torch==2.3.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip in
オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のV100で動作確認しています。 前回 1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 前回は提供されているデータセットで学習しましたが、今回はオリジナルデータセットを作って学習させてみます。 2. データセットの作成画像に写っているキャラクターの名前を学習するためのデータセットを作成します。 2-1. データの準備今回は、結束バンドのメンバー4名の画像を学習用に3枚ずつ、評価用に1枚ずつあつめて、名前といっしょに学習させます。 画像サイズは 980x98
NVIDIAが既存ラインナップのテコ入れ、いわゆる「Super商法」を今年から始めました。 新たに追加された3つのSuperシリーズで、今もっとも人気が高い「RTX 4070 Ti Super」を実際に買って詳しくレビューします。先代のRTX 4070 Tiと比較してどれくらい性能が上がり、コスパが改善されているのか？･･･性能を比較ベンチマークしましょう。 （公開：2024/4/30 | 更新：2024/4/30） この記事の目次 Toggle 「RTX 4070 Ti SUPER」の仕様とスペック GPU RTX 4070 Ti SUPER RTX 4070 Ti RTX 3080 プロセス 5 nm製造 : TSMC 5 nm製造 : TSMC 8 nm製造 : Samsung シェーダー数CPUのコア数に相当 8448 7680 8704 RTコア数レイトレ用の特化コア 66 60
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで
AD103 GPUを使用したGeForce RTX 4070が登場。ドライバのバージョンにご注意 | ニッチなPCゲーマーの環境構築Z
AD103 GPUを使用したGeForce RTX 4070が発売されました。 2024年3月末、ハードウェアリーカーのMEGAsizeGPU氏により、GeForce RTX 4000シリーズで使用されているGPUが以下のように変更されるとリークされました。 GeForce RTX 4070: AD104-251 → AD103-175-KX (2024年3月)GeForce RTX 4060 Ti: AD106-351 → AD104-150-KX (2024年4月)GeForce RTX 4060: AD107-400 → AD106-255 (2024年4月)海外メディアのTechPowerUpによると、MEGAsizeGPU氏のリーク通り、AD103 GPUを使用したGeForce RTX 4070がすでに市場に出回っているそうです。 Device ID『10DE 2709 - 1
去年くらいからVTJのプロジェクトとしては「爆速DB」というプロジェクトで、DBの高速化の技術について検証をしています。 PG-Strom はPostgreSQLの拡張モジュールであり、データ分析やバッチ処理のために SQL ワークロードの GPU アクセラレーションを可能にするという技術です。GitHubでオープンソースで開発されており、インストール方法などは公式のドキュメントサイトにまとめられています。 コンテナで動かしてみようと思ったきっかけ GitHubのIssueに、「コンテナでPG-Stromが動いたらいいよね」と言ったようなリクエストがされていました。 Official Docker image for pg-storm · Issue #548 · heterodb/pg-strom · GitHub これをみた時点ではコンテナで動かす利点は思いつかなかったものの、試しに動
DeepFakeの仕組みを全て解説してみた
はじめに 本記事では、既存のDeepFake技術がどのような仕組みで動いているのかを解説します。 DeepFakeのオープンソースプロジェクトで有名なものとしてFaceFusionがありますが、本記事ではこのFaceFusionの実装に沿って解説していきます。 余談ですが、僕はFaceFusionの開発メンバーです。 DeepFakeとは 基本的に、FaceSwapはsource画像, target画像というものを用意し、source画像の顔をtarget画像に当てはめます。 従来のDeepFaceLabなどに代表される手法では同一人物のsource画像を大量に用意し、GANと呼ばれる手法でその場でモデルを学習し、推論させるというものでした。 この手法では極めて高い精度を出すことができますが、大量のデータセットを用意する必要がある・学習に時間がかかりすぎる・学習が難しいなど多くのデメリット
Emi 2 Model Card はじめに Emi 2 (Ethereal master of illustration 2) は、 最先端の開発機材H100を用いた画像生成Emiを用いて AI Picasso社が開発したAIアートに特化した画像生成AIです。 このモデルの特徴として、Danbooruなどにある無断転載画像を学習していないことがあげられます。 使い方 ここからデモを利用することができます。 本格的に利用する人はここからモデルをダウンロードできます。 シンプルな作品例 positive prompt: 1girl, close-up, brown bob short hair, brown eyes, smile:0.1, looking at viewer, cherry blossom negative prompt: (embedding:unaestheticXLv3
【米国株】Groq半導体はエヌビディアの脅威となるのか。技術面、コスト、電力消費、ビジネスモデルを掘り下げる。｜米国株インサイト
Ollamaは、様々なLLMモデルをローカルPCで動かすことができる無料のツールです。 この記事では、OllamaとOpen WebUIを使用して、ChatGPTのようなインターフェースでテキストを生成する方法を紹介します。 Ollama・Open WebUIとはOllamaは、LLMモデルをローカルPCで動かすことができる無料のツールです。 MetaのLlama3やGoogleのGemmaなど様々なLLMモデルをOllamaにダウンロードしてローカル環境で利用できます。 Open WebUIは、Ollama用のWebインターフェースです。 Ollama単体ではコマンドラインでプロンプトを入力することになりますが、Ollama＋Open WebUIを使用することで、ChatGPTのようなインターフェースでテキスト生成が可能です。 ローカルPC（Windows）を使用する場合 ローカルPC（
なんでも綺麗にセグメントできる（オブジェクトを切り取れる）SegmentAnythingがすごい - Qiita
どんなオブジェクトでも思いのままにセグメント編集できる Segment Anything なんでもセグメントできます。 なぜなら、セグメントしたいポイントや範囲を人間が簡単に指定できるから。 これにより、画像編集ソフトのようなセグメントが簡単にできます。 とりあえず以下のデモサイトで試せます。 使い方 インストール git clone https://github.com/facebookresearch/segment-anything.git wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth from segment_anything import sam_model_registry, SamPredictor import torch sam_checkpoint = "sam_vit
話題の小型LLM 「Phi-3-mini」 に中二レベルの連立方程式を解かせたら、ちゃんと解いてきた - Qiita
概要 おととい(2024/4/23)マイクロソフトから発表された新LLM「Phi-3-mini-128k-instruct」を使ってみました 3.82B の小さなモデルですが賢い！ （小さいのでLLMではなく"SLM"ともいうみたいですね） 中二で習う連立方程式なんて楽々解いてきました 量子化なしでVRAM消費量は8GB弱です 4Bit 量子化して実行しても頭脳は明晰なままで、VRAM消費量は 3GB弱でした 環境 NVIDIA RTX A5000 Python 3.11.4 使用したモデル microsoft/Phi-3-mini-128k-instruct 解かせた問題 以下の連立方程式を解きなさい messages = [ {"role": "system", "content": "You are a helpful digital assistant. Please provid
はじめに PyTorchはテンソルに対してhoge.to(device)などで簡単にcpuとgpuモードを切り替えられますが，よくこのデータセットやモデルがcpuかgpuなのかわからなくなったので，確認する方法を書き残しときます． 確認方法 前提としてデータセットとモデルの準備は IMAGE_SIZE=224 BATCH_SIZE=20 TRAIN = 'train' DATA_DIR = 'dataset/predata/' DEVICE = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") data_transforms = { TRAIN: transforms.Compose([ transforms.Resize(IMAGE_SIZE), transforms.ToTensor(), ]) } # データ
![[PyTorch]modelとdatasetがcudaモードになっているか確認する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c1ebf514d45408560a43f3225cbe58931caf4c2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHlUb3JjaCU1RG1vZGVsJUUzJTgxJUE4ZGF0YXNldCVFMyU4MSU4Q2N1ZGElRTMlODMlQTIlRTMlODMlQkMlRTMlODMlODklRTMlODElQUIlRTMlODElQUElRTMlODElQTMlRTMlODElQTYlRTMlODElODQlRTMlODIlOEIlRTMlODElOEIlRTclQTIlQkElRTglQUElOEQlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWQxNWY1YzRjYzRiMDgxNDFjN2Q0YTZlZjg5ZjZmMmM3%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBIYWFhbWFhYWFhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02OTk4ZTQ1ZDc2NTIxYTcxMWUwMmJmNWZlZjRmYzk4Nw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D590cfeb9592d7ba93a8980395e14837d)
急に、MLXという言葉が、ネットで広がってきました。 MLXは、Appleが開発した新しい機械学習フレームワークでM1以降のCPUで使えるようになっています。 Microsoftが商用利用できる小型の言語モデルSMLのPhi-3が登場したことで、急にローカルでAIを使う動きが広がっています。 私もLM Studioで、Phi‐3が利用できることを確認しました。 LM Studioで、アップデートがあります。 MicrosoftのPhi-3が使えるようになったようです。 - `Microsoft's "Phi-3"` (small & fast with impressive capabilities) - `Meta's "Llama 3"` (incredibly powerful open model)#AI #AI活用 pic.twitter.com/IjBpAsZgBg — エンジ
Japanese-Chat-Umievo-itr001-7b This is a merge of pre-trained language models created using mergekit. This model is a merging of three Japanese models with the proportions obtained by an evolutionary algorithm using Mergekit-Evolve. The three models, chatntq-ja-7b-v1.0, Japanese-Starling-ChatV-7B, and Antler-7B-RP-v2, were merged. このモデルは３つの日本語モデルをMergekit-Evolveを用いて進化的アルゴリズムで求めた比率でマージしたものです。 chatn
軽量Vision＆Languageモデル（VLM）の「moondream2」を使ってみる - パソコン関連もろもろ
はじめにVision＆Languageモデル（VLM）を使って写真の説明をしてもらいます。 今回は軽量モデルの「moondream2」を使ってみました。 huggingface.co その他のVision＆Languageモデル（VLM）touch-sp.hatenablog.com touch-sp.hatenablog.com touch-sp.hatenablog.com 画像と結果写真① 実行 python image2text.py -I image1.jpg -P "describe this image" 結果 In the image, two children are sitting on a rooftop, gazing up at a star-studded night sky. The child on the left is pointing upwards,
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT Communications Engineers' Blog
本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露
Unityのプロジェクトをインポートできるプラグインも無料公開。3DゲームやVRアプリの開発に向いた「UNIGINE Engine」、バージョン「2.18.1」がリリース
ゲームエンジン「UNIGINE 2.18.1」がリリース 実験的にNVIDIA DLSS 3やAMD FSR 2.2のアップスケーリング技術に対応 Unity上のプロジェクトをUNIGINEにインポートできるプラグインが無料で公開されている 2024年4月22日（現地時間）、ゲームエンジンであるUNIGINE Engineの最新バージョン「UNIGINE 2.18.1」がリリースされました。 UNIGINE Engine 2.18.1: – Upscaling support – CUDA integration for Vulkan and DX12 – Optimized quality presets with up to 80-90% performance boost – Updated MATLAB integration via ROS bridge – In-app vid
「Phi-3 データセットを使用してトレーニングされた、38 億パラメータの軽量の最先端のオープンモデル」らしい、Phi-3-mini-128k-instructを試してみます。 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 64 GB ・GPU: NVIDIA® GeForce RTX™ 4090 Laptop GPU(16GB) ・GPU: NVIDIA® GeForce RTX™ 4090 (24GB) ・OS: Ubuntu22.04 on WSL2（Windows 11） です。 1. 準備venr構築 python3 -m venv phi3 cd $_ source bin/activateパッケージのインストール。 pip install torch
Pytorch Distributed Data Parallel(DDP) 実装例 (pytorch ddp vs huggingface accelerate) - クラウドエンジニアのノート
はじめに 新しくhuggingface accelerateを用いたDDPの実装を加えました (2021/11/1) 学習コード DataParallel nn.DataParallelのソース DDP DDPのソース 実行コマンド DDPソース説明 DDP (accelerate) DDPのソース (accelerate) 実行コマンド DDP(accelerate) ソース説明 時間比較 cuda:0 nn.DataParallel DDP DDP (accelerate) 最後に はじめに DataParallelといえばnn.DataParallel()でモデルを包んであげるだけで実現できますが、PythonのGILがボトルネックとなり、最大限リソースを活用できません。 最近では、PytorchもDDPを推奨しています。が、ソースの変更点が多く、コーディングの難易度が上がっています
Llama3，Phi-3などの対話型人工知能（大規模言語モデル）をパソコンで動かす - Qiita
かつては大規模言語モデルは，メモリを大量に消費し，大量のGPUが必要なため個人レベルで動かすものではありませんでした．しかし，2024年にLlama3 7BやMixtral 8x7b, Phi-3 smallなどChatGPT-3.5レベルの能力を持ち軽量で無料の大規模言語モデルが登場してきました．それだけではなく，これらの大規模言語モデルをコマンド一つでインストールするが出来るようにもなりました．2024年から，大規模言語モデル（対話型人工知能）を自宅で気軽に動かせる時代になったと言えます． この記事に対話型人工知能をパソコンにインストールする方法とその結果を書きます． 環境 前提としている環境 私は人工知能の研究をしているため，すでにLinux(Debian 12)上でPython3とCUDAが動く環境を整えています．以下の記事はLinuxの使用を前提にしています． パソコンのスペック
Sakana.ai made a very big splash about a month ago, releasing a paper on Evolutionary Model Merging, and the subsequent model and eval results of this game-changing merge method. Unfortunately for the community, they never released the algorithm behind these amazing results! Since this release, here at Arcee we've been fully focused on developing this groundbreaking technique for the community. We
「Ollama」と「ChatUI」を使って Microsoft の Phi-3 をローカルで利用する。軽い、速いは正義です。 - パソコン関連もろもろ
はじめにWSL2上のOllamaで「Phi-3」を実行して、Windows上のChatUIでそれを利用してみました。 無料で実行可能です。 github.com github.com 必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインストールが必要です。使用した環境WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Windows Windows 11 WSL2側でやることDockerのインストールこちらに従いました。 WSL2の場合は最初に以下のコマンドを実行しないとDockerが起動しません。 sudo service docker start MongoDBの起動初回 sudo docker run -d -p 27017:27017 --name mongo-chatui mongo:latest 2回目以降
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
「3,000 以上の日本語会話に合わせて微調整されており、このモデルには Llama 3のインテリジェンスがありながら、日本語でチャットする機能が追加されている」らしい、Suzumeを試してみます。 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 64 GB ・GPU: NVIDIA® GeForce RTX™ 4090 Laptop GPU(16GB) ・GPU: NVIDIA® GeForce RTX™ 4090 (24GB) ・OS: Ubuntu22.04 on WSL2（Windows 11） です。 1. 準備venr構築 python3 -m venv suzume cd $_ source bin/activateパッケージのインストール。 pip i
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
有識者「ゲーミングPCの寿命は5年」ワイ「15万も出したのに！？？」 [858219337]
ローカルLLMを動かすOllamaをGoolge Colabで動かす方法｜Masayuki Abe
Clang で CUDA コードを NVPTX に変換するメモ - Qiita
Windows PCにCUDA ToolkitとcuDNNを導入する
CUDAをインストール (Windows) – ft-lab
Google Colab で DeepSpeed によるLLMのフルパラメータの指示チューニングを試す｜npaka
Hugging Faceのdbrx-instructを動かしてみる - Qiita
オリジナルデータセットで Idefics2 のファインチューニングを試す｜npaka
ED法の重みをGPUで並列更新したら3,000倍高速化した。 - Qiita
お絵描き補助AIアプリ『AI-Assistant』全体公開！｜とりにく
RTX 4070 Ti Superをベンチマーク：4070 Tiとどっちがいいか性能比較レビュー | ちもろぐ
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
PG-Stromをコンテナで動かしてみた - 仮想化通信
aipicasso/emi-2 · Hugging Face
【LLM】Ollama＋Open WebUIでローカルLLM環境を構築
[PyTorch]modelとdatasetがcudaモードになっているか確認する - Qiita
Mergekit-Evolve登場！進化的アルゴリズムで手元のLLMを最強進化させよう！
『エンジニアのトレンドは、ローカルでLLMを動かすそして、MLX Swift』
umiyuki/Japanese-Chat-Umievo-itr001-7b · Hugging Face
LLMプロダクト開発とはどういうものなのか？｜erukiti
WSL2でPhi-3-mini-128k-instructを試してみる｜noguchi-shoji
mergekit-evolve による 進化的モデルマージ｜npaka
Evolutionary Model Merging For All
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
WSL2でsuzume-llama-3-8B-japaneseを試してみる｜noguchi-shoji