並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 1455件

新着順 人気順

CUDAの検索結果1 - 40 件 / 1455件

  • 2022年、特に感動した・気に入った フリーソフト

    指定した音声ファイルを、楽器ごとのパートに分解してくれるソフトです。 音声ファイルをドラッグ&ドロップで放り込むと、該当のファイルを ボーカル ベース ドラム その他(キーボード、ギター 等) ボーカル以外のインストゥルメンタル といった 5 つのファイルに分解してくれます。 処理を GPU(CUDA)で実行することもできます。

      2022年、特に感動した・気に入った フリーソフト
    • 最近ローカルLLMがアツいらしい

      最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ?というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 & OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し

      • 画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ

        2022年8月23日に無料公開された画像生成AI「Stable Diffusion」は、「ボールで遊ぶ猫」「森の中を走る犬」といった指示を与えると指示通りの画像を出力してくれます。Stable Diffusionはデモページで画像生成を試せる他、NVIDIA製GPUを搭載したマシンを用いてローカル環境で実行することも可能です。しかし、デモページは待ち時間が長く、NVIDIA製GPUは所持していない人も多いはず。Googleが提供しているPython実行環境「Colaboratory」を利用すれば、NVIDIA製GPUを所持していなくともStable Diffusionを待ち時間なしで実行する環境を無料で整えられるので、実際に環境を構築する手順や画像を生成する手順を詳しくまとめてみました。 Stable Diffusion with 🧨 Diffusers https://huggingf

          画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ
        • CPUとGPUのマルチスレッディングの違いについて - arutema47's blog

          "Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは? CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 (SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。) 本記事について 本記事はCPUとG

            CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
          • pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator


            -  - Python pippipenvpoetry Pythonpippipenvpoetry3poetry1Python Python 
              pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
            • Jupyter AIが出た!試した!!すごい!!! - Qiita

              ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお! ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー! (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >

                Jupyter AIが出た!試した!!すごい!!! - Qiita
              • 話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる

                話題のStableDiffusionがオープンソースで8/23に公開されたので、手元のマシンで動かすまで試したいと思います🖼 (下記に記載していますが、自分の環境だとVRAMが不足しているエラーが出てしまったのでイレギュラーな対応をしています🙏) ※ ↑追記 コメント欄にて、 @kn1chtさんが紹介してくださっているように、マシンのVRAMが10GB未満の環境では半精度(float16)のモデルがオススメされています。 本記事では、別の最適化されたものを紹介していますが、こちらの利用も検討してみると良さそうです👉 https://zenn.dev/link/comments/7a470dc767d8c8 StableDiffusionがどんなものかは、深津さんの記事が参考になります。 1. 環境 Razer Blade (RTX 2070, VRAM 8GB) CUDA Toolk

                  話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる
                • やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙

                  やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

                    やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
                  • 画像に含まれる不要物を違和感なく完全削除できる無料ツール「Lama Cleaner」のインストール手順&使い方まとめ


                    Lama CleanerPC使 GitHub - Sanster/lama-cleaner: Image inpainting tool powered by SOTA AI Model https://github.com/Sanster/lama-cleaner Lama CleanerPythonpipPythonPCLama CleanerLama Cleaner One Click Installer使PC
                      画像に含まれる不要物を違和感なく完全削除できる無料ツール「Lama Cleaner」のインストール手順&使い方まとめ
                    • ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ

                      はじめに はじめまして、8月にコネヒトに入社したy.ikenoueです。 突然ですがみなさん、生成AIは使っておりますでしょうか? ChatGPTやStable Diffusionといった代表的な生成AIの発表から約1年が経過し、そろそろブームも落ち着くかと思っていたのですが、つい先日もOpenAI DevDayにてChatGPTに関する様々なアップデートが発表されるなど、相変わらず目まぐるしい日々が続いていますね。 弊社における生成AIの活用状況はというと、以前に下記の記事にて、Slack上でChatGPTと会話できる環境を社内提供しているという取り組みをご紹介しました。 tech.connehito.com 本日は、上記の社内ツールに新たに追加した「社内文書の参照機能」についてご紹介します。 「社内文書の参照機能」の概要と開発動機 まずは「社内文書の参照機能」の概要と開発にいたった動機

                        ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ
                      • AIボイチェン「RVC」の精度と学習・変換速度が革命的。コナンの蝶ネクタイ的リアルタイムボイチェンも可能(CloseBox) | テクノエッジ TechnoEdge


                        AIAIAI AIDiffusion使Diff-SVCAIAI使 使Diff-SVC Diff-SVCSo-VITS-SVCSoftV
                          AIボイチェン「RVC」の精度と学習・変換速度が革命的。コナンの蝶ネクタイ的リアルタイムボイチェンも可能(CloseBox) | テクノエッジ TechnoEdge
                        • 画像生成AI「Stable Diffusion」をWindows環境にボタン1つでインストール可能&GUIで操作できる「NMKD Stable Diffusion GUI」がついに登場

                          入力した文字列から高精度な画像を生成できるAI・Stable Diffusionは2022年8月に無料で一般公開され、「基本的に出力した画像は商用・非商用を問わず、自由に利用できる」というライセンスで大きな話題となりました。しかし、Stable DiffusionをローカルなWindows環境に導入して使うには、PythonやAnacondaなどを扱える技術や知識が求められるため、初心者にとっては敷居がやや高いといえます。そんなStable Diffusionを一発でWindows環境にインストール可能で、さらにシェルでのコマンド入力ではなくグラフィックユーザーインターフェース(GUI)で画像生成の指示も簡単にできる「NMKD Stable Diffusion GUI」が公開されました。 My easy-to-install Windows GUI for Stable Diffusion

                            画像生成AI「Stable Diffusion」をWindows環境にボタン1つでインストール可能&GUIで操作できる「NMKD Stable Diffusion GUI」がついに登場
                          • Google Colab で はじめる Stable Diffusion v1.4|npaka

                            2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして(アカウントがない場合は作成)、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H

                              Google Colab で はじめる Stable Diffusion v1.4|npaka
                            • 【Stable Diffusion】AIイラストにおすすめなグラボをガチで検証【GPU別の生成速度】 ちもろぐ

                              月額料金なし、無制限の生成枚数でAIイラストをガシガシ描くなら、Stable Diffusionをローカル環境にインストールする「AUTOMATIC1111版Stable Diffusion WebUI」が必要です。 しかし、ローカル版AIイラストはグラフィックボードも必須です。 VRAM容量が多くないとダメ RTX 4000シリーズが良い Radeonは絶対にNG などなど・・・。いろいろな情報が飛び交っていますが実際のところはどうなのか? やかもちグラフィックボードをなぜか40枚ほど所有している筆者が、実際にStable Diffusionを動かして徹底的に検証します。 (公開:2023/3/8 | 更新:2024/4/3) この記事の目次 Toggle AIイラスト(Stable Diffusion)におすすめなグラボを検証 検証方法:AIイラストの生成速度をテストする AIイラスト

                                【Stable Diffusion】AIイラストにおすすめなグラボをガチで検証【GPU別の生成速度】 ちもろぐ
                              • Chainer を振り返って

                                2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから,およそ 4 年半と少しが経ちました.はじめのはじめは軽い気持ちで書きはじめたコードでしたが,今では一線級の研究を立派に支えるまでになりました.深層学習フレームワークの世界も当時とは様変わりして(当時は TensorFlow も PyTorch もなかったわけですから,本当に変わりました),思えば遠くにきたものです. 今日,PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました.会社にとってももちろんですが,業務としてはこの 4 年半,Chainer 一筋でやってきた自分にとっては特に,大きな転換点です. まず率直な感想として,Chainer の開発は本当に楽しかったです.書きはじめた頃は,深層学習フレームワーク競争の真っ只中で,Theano の上に乗っかるフレームワー

                                • 画像生成AI「Stable Diffusion」をGoogle Colabで動かしたメモ - ただいま村

                                  AIが画像を自動生成してくれる「Stable Diffusion」がすごい。これを使ったサービス「DreamStudio」は1枚6秒ほどで画像を生成してくれて早いが、無料枠を超えて使うには課金が必要になる。 Google Colabという、Pythonの実行環境を提供してくれるサービス上でStable Diffusionを動かせるそうだ。お金はかからない。1枚の画像生成にかかるのは30秒ほど。その方法は以下で解説されている。 Google Colab で はじめる Stable Diffusion v1.4|npaka|note 自分でもやってみて、今は無事にStable Diffusionを使えるようになっている。しかしGoogle Colabを使うのも初めてだったので上の記事だけだと詰まるところもあった。ここではそれを解説したいと思う。 ライセンスの確認 Hugging Faceのトー

                                    画像生成AI「Stable Diffusion」をGoogle Colabで動かしたメモ - ただいま村
                                  • 時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ

                                    本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその

                                      時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
                                    • 完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z

                                      Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ

                                        完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z
                                      • GPUでZIPパスワードを解析する - Qiita


                                        ZIPZIP使   Windows PC Windows10使 GPU  PCGPUThunderbolt3GPU GTX 208010 CUDA Toolkit  hashcat hashcatWindows5.1.0 WindowsJohn
                                          GPUでZIPパスワードを解析する - Qiita
                                        • 政府当局が配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」がハイレベル過ぎると話題に

                                          イギリスの政府当局が子持ちの親御さん向けに配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」が、あまりにハイレベル過ぎるということでインターネット上で話題になっています。 話題になっているのはTwitterユーザーの@G_IWさんがツイートした以下の画像。 This utter crap is being distributed through schools from the 'local authority' so presume @WalsallCouncil today. The level of disinformation is staggering. I'd be proud to find my kids learning to use any of these. Except Discord but that's nothing to do with ha

                                            政府当局が配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」がハイレベル過ぎると話題に
                                          • AIでラフを線画に整えるだけの無料webアプリ『sketch2lineart』公開|とりにく

                                            結論から言うと、こんなことができます。 カラーイラストを線画にすることも可能です。 先日、AI-AssistantV3なるお絵描き補助AIフリーソフトを公開したのですが、多くの方から『私のPCじゃ動かん!』というご意見をいただきました。 わかる~!ちょっとAIに興味あるだけの人が20万↑のPCに手を出せるわけないよね。それが本当に使えるモノかどうかもまだわからないのに。 私もできる範囲で動作サポートするものの(抜けていたらすみません!) 元々のPCのスペック問題自体はどうしようもないジレンマに葛藤していました。 ならばスマホからでも動くシンプルなwebアプリ作ったろうじゃん!!! と思ったので作りました。 機能限定版AI-AssistantV3みたいな立ち位置だと思って下さい。まぁ微妙にアルゴリズム違うんで厳密には別物ですが。 【追記】勘違いする方もいるっぽいので明記しておきます! こちら

                                              AIでラフを線画に整えるだけの無料webアプリ『sketch2lineart』公開|とりにく
                                            • Mojo 🔥

                                              先日プログラミング言語 Mojo と呼ばれるもののアナウンスメントがあった。この言語のデザインが私のスイートスポットに刺さる感じだったので、今のうちから注目している。使いたいなというか、将来使うことになりそうな言語なので簡単に何ができそうかを調査してまとめておきたい。 ウリとしては「C 並のパフォーマンスが出る Python」といったところだろうか。 k0kubun さんからコメントを裏でもらって、これって要するに並列化とか SIMD 化とか入れたら35,000倍のパフォーマンスが出るようだけど、これは Python の部分とは呼べなくて、素の Python 動かして本当にそういえるかは怪しくない?とのことで、判断保留します 🙇🏻‍♀️ k0kubun さんありがとう 言語のデザインとしては、AI 開発に向けたプログラミングを提供できるよう設計されていると感じる。表側は Python

                                                Mojo 🔥
                                              • 自作PC2023: Ryzenをやめた - k0kubun's blog

                                                Ryzenはゲーム用CPUとしては特に問題ないのだが、 ソフトウェア開発においてはIntelのCPUに比べて不便なポイントがいくつかある。 日々業務で使っていてあまりにもストレスが溜まるので、CPUをIntel Core i7に変更した。 このマシンは8年前に組んだ自作PC なのだが、使っていて不便を感じたパーツを差し替え続けた結果、 今回のアップデートで全てのパーツが当時とは違うものに変わったため、 それぞれ古い方のパーツで不便だったポイントなどを紹介したい。 仕事で使う自作PC 社内のサービスをいじる時は会社から貸与されているM1 MacBook Proを使うのだが、このマシンは不便である。 Rubyのビルドは自分のLinuxのマシンに比べ2倍以上遅いし、Reverse Debuggingができるデバッガが存在しないし、 慣れたツールであるLinux perfも使えないし、Podman

                                                  自作PC2023: Ryzenをやめた - k0kubun's blog
                                                • 無料でGPT4越え!?ついに来たXwin-LM|shi3z


                                                  AInpakaGPT-4Xwin-LM  Memeplex(A6000x2)使 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading ()lve/main/config.json: 100%|| 626/626 [00:00<00:00, 56.2kB/s] [2023
                                                    無料でGPT4越え!?ついに来たXwin-LM|shi3z
                                                  • 【2023年版】機械学習の日本語無料学習教材まとめ - Qiita

                                                    言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて!という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから! Google Colabの知っておくべき

                                                      【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
                                                    • [速報]WSL 2が正式版に到達。今後はLinuxのGUIアプリへも対応すると。Microsoft Build 2020

                                                      オンラインイベント「Microsoft Build 2020」を開催中のマイクロソフトは、「Windows Subsystem for Linux 2」(WSL 2)の正式リリースを発表しました。 WSL 2は、Windows 10でLinux互換機能を提供するWSLの次期バージョンです。 現行のWSLがLinuxカーネルシステムコールをWindowsカーネルシステムコールに変換するという実装で互換機能を提供するという仕組みなのに対し、WSLではこれを刷新。Windows 10内部に用意した軽量な仮想マシン内で本物のLinuxカーネルを実行することで、より高い性能と互換性を実現しています。 これによりLinuxコンテナなどもWSL 2で実行可能になります。実際、Docker社はWSL2に最適化したDocker Desktopをリリース予定です。 WSL 2は今月中にリリース予定のWindo

                                                        [速報]WSL 2が正式版に到達。今後はLinuxのGUIアプリへも対応すると。Microsoft Build 2020
                                                      • Stable Diffusionでmorphing - すぎゃーんメモ


                                                        #stablediffusion  pic.twitter.com/IR5yjnL07Y 💯 (@sugyan) August 31, 2022  Stable Diffusion   Stable Diffusion stability.ai Google Colab  Apple silicon    "How does Stable Diffusion work?"  huggingface.co   "User Prompt"  "Late
                                                          Stable Diffusionでmorphing - すぎゃーんメモ
                                                        • 「CPU最強 vs. GPU最強」──進化する将棋AIのいま プロに勝利した「Ponanza」から「水匠」「dlshogi」まで

                                                          「CPU最強 vs. GPU最強」──進化する将棋AIのいま プロに勝利した「Ponanza」から「水匠」「dlshogi」まで:プロ棋士向け最強将棋AIマシンを組む!(1/4 ページ) 将棋のプロ棋士である広瀬章人八段向けに「最強の将棋AIマシン」を組むべく奔走する本連載。前回は、プロ棋士の間でコンピュータを使った研究が本格化していること、必要な演算装置には多コアCPUである米AMDの「Ryzen Threadripper」や並列計算の多いAI処理に向いたGPUがあることを紹介した。 今回注目するのは、「CPU計算による将棋ソフト」と「GPU計算による将棋ソフト」のいまの実力と、それにつながる技術的な変遷についてだ。 コンピュータ将棋がプロに勝った日 その技術は“AIブーム”にあらず コンピュータ将棋の歴史は長く、コンピュータ将棋協会が主催する「世界コンピュータ将棋選手権」の第1回は19

                                                            「CPU最強 vs. GPU最強」──進化する将棋AIのいま プロに勝利した「Ponanza」から「水匠」「dlshogi」まで
                                                          • NovelAIが重すぎるからローカル環境にNAI環境を構築する(2022年10月16日版)(追記あり)

                                                            せっかく課金したのにユーザが増えまくっているのか滅茶苦茶重くなっていて最悪。 だから流出したモデルを使ってローカルでNAIの環境を構築する。 ネットには情報もだいぶ転がってるけど陳腐化した情報があまりに多いため増田にまとめることにした。 もしかしたらこの記事もすでに陳腐化しているかもしれないが…単純に間違ってたらトラバで教えてほしい。 もちろん自己責任。この記事を見て導入した結果何かあっても増田は何も保証しない。 英語がわかる人はこっちを見た方が早いと思う。今は導入RTAができるくらい導入は楽になっている。 https://rentry.org/nai-speedrun 推奨環境VRAMが2GB以上あるNVIDIA製のグラフィックボードがあればローカル環境を構築できる。 GPUの世代はGTX700シリーズ以降。なので一昔前のミドル級ボードでも動作するらしい。 IntelのオンボードGPUで

                                                              NovelAIが重すぎるからローカル環境にNAI環境を構築する(2022年10月16日版)(追記あり)
                                                            • Dockerで構築する機械学習環境【2024年版】

                                                              Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ(@karaage0703)です。松尾研究所では、機械学習(ここでは、予測モデル、画像認識からLLMまで幅広く扱います)を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか? 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do

                                                                Dockerで構築する機械学習環境【2024年版】
                                                              • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

                                                                もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

                                                                  LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
                                                                • 秒速で10億レコードを処理する話 - KaiGaiの俺メモ

                                                                  これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3~4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 (機材をお貸し頂いたパートナー様には感謝感激雨あられである) 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ

                                                                    秒速で10億レコードを処理する話 - KaiGaiの俺メモ
                                                                  • RISC-Vが面白くなってきたぞ


                                                                    () RISC-V RISC-V RISC-V  (ISA) 使CPU OSRISC-V  RISC-VHPC RISCMIPSCPU
                                                                      RISC-Vが面白くなってきたぞ
                                                                    • おわりに - なぜ機械学習はうさん臭く感じられるのか? / 真面目なプログラマのためのディープラーニング入門

                                                                      本講座では計8回にわたり、ディープニューラルネットワークの原理と実装について 説明してきた。ニューラルネットワークの原理は基本的には 勾配降下法であり、その基盤となっているのが関数の微分可能性である。 ニューラルネットワークにはさまざまな形態が存在するが、 画像処理・画像認識の場合は畳み込みニューラルネットワークが非常に 有効であることがわかっている。また、ニューラルネットワークの 出力形式や損失関数を変えることにより、ニューラルネットワークが 物体検出や奥行き推定など、さまざまなタスクに利用可能であることを紹介した。 さて、本講座は「真面目なプログラマのための」ディープラーニング入門、 と銘打っている。真面目なプログラマとは何か? 諸説いろいろあるだろうが、 多くのプログラマは、ソフトウェア開発において 仕様の明確さや、 システムの効率・堅牢性、そして 保守のしやすさといったものを 追求

                                                                      • 自律型AIソフトウェアエンジニア「Devin」発表。課題から情報収集して環境構築・ビルド・デプロイまで | テクノエッジ TechnoEdge

                                                                        ITジャーナリスト/Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。 Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。 Cognition AI CEOのScott Wu氏以下はデモ動画からのキャプチャです。 Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面(右上)、コードエディタ(右下)、Webブラウザ(左下)を持っています(左上は人間とチャットでやり取りする領域)。 人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。 今回、Dev

                                                                          自律型AIソフトウェアエンジニア「Devin」発表。課題から情報収集して環境構築・ビルド・デプロイまで | テクノエッジ TechnoEdge
                                                                        • 【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境


                                                                           WSL2Windows Subsystem for Linux 2Microsoft WindowsLinux WSL2DockerGPU NvidiaGPUWSL2DockerCUDACUDA Toolkit PC Windows 11 Windows version: 22H2 GPUNVIDIA Geforce RTX 3060 12GB  1. WSL2 WSL2 
                                                                            【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境
                                                                          • AIを駆使してアニメや映画をヌルヌル動かしてくれるフレーム補間ソフト「Dain-App」

                                                                            フレームレートが低い動画でもフレームを補間し滑らかに表現することが可能なソフト「Dain-App」がアルファ版として公開されています。フレーム補間技術としてはAMDのFluid MotionやSVPが知られていますが、Dain-Appでは「DAIN」と呼ばれる動画内の空間の深度を認識し、視聴者に近い物体を遠い物体よりも優先してサンプリングし中間フレームを補間するAIを使ってフレーム補間を実現しています。 Dain-App [Alpha 0.1] by GRisk https://grisk.itch.io/dain-app 同じ動画を半分に区切り、左側に元動画、右側にDain-Appによる処理を施した動画を並べて比較するとこんな感じ。 Interpolating Guldies animation to 60 FPS - YouTube 動画を停止してフレームごとに見てみると、Dain-A

                                                                              AIを駆使してアニメや映画をヌルヌル動かしてくれるフレーム補間ソフト「Dain-App」
                                                                            • 画像・PDF・TXT・メールなどの中身を読み取って検索できるようにするオープンソースのドキュメント整理ツール「Teedy」レビュー

                                                                              Teedyはさまざまな種類のファイルの中身を読み取って検索できる状態にしてくれるドキュメント整理ツールです。受信したメールを自動で取り込む設定もできるとのことなので、実際にセルフホストして使い勝手を確かめてみました。 sismics/docs: Lightweight document management system packed with all the features you can expect from big expensive solutions https://github.com/sismics/docs TeedyのインストールにDockerを利用するので、下記のリンクから自分の環境に合った方法でDockerをインストールします。 Install Docker Engine | Docker Documentation https://docs.docker.com

                                                                                画像・PDF・TXT・メールなどの中身を読み取って検索できるようにするオープンソースのドキュメント整理ツール「Teedy」レビュー
                                                                              • Pythonについて思うこと | 雑記帳

                                                                                みなさん、Pythonは好きですか? この記事では、私がPythonという言語とそのエコシステムについて思うところを書いていきます。全体を通したストーリーみたいなのはなくて、トピックごとに書いています。 私のPython経験は3年弱です。Pythonについてまだまだ新米だという自覚はありますが、そこは有り余る才能でカバーしてこの記事を書いています。 静的型 Pythonには静的型がありません。型ヒントはありますが、インタープリターにとっては飾りにすぎません。 mypyとかの型チェッカーはありますが、「それさえあれば万事ハッピー」なものではなく、既存のコードを適宜書き換えないと型チェッカーでまともな結果を得るのは難しそうです。型検査を念頭に書かれていない(型ヒント付きの)コードをそのままmypyにかけても大量のエラー・警告が出てくるでしょう(ちなみに、型ヒントなしの関数はmypyのデフォルト

                                                                                • ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita

                                                                                  はじめに はじめまして。株式会社ずんだもんのアルバイトエンジニアのinadaです。 今日は誰でも作れるずんだもんと題してローカルPCにずんだもんAIを作ります。この記事はそのチュートリアル記事です。 (誰でもと書いてますが、RTX 3060(12G)搭載以上のPC推奨です。CPUマシンでも出来る部分はありますが非推奨です。RTX 3060(12G)のグラボは5万ぐらいで買えるので持ってなければ買っちゃいましょう。) 対象読者/記事の範囲 ローカルPCで動かせる大規模言語モデルを、学習用のデータの用意から、学習、動かすところまで一通りどんなものか、お試ししてみたい人。 自分だけの世界にただ一人だけのうちの子、またはパートナー(うちの嫁)を作り育てたい。そんな沼にはまりたい、興味がある人。 AIの仕組みや用語は当記事では解説しません。AIの用語(モデル, loss, epoch, checkp

                                                                                    ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita