並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 1434件

新着順 人気順

CUDAの検索結果1 - 40 件 / 1434件

  • Zabbix/slack - Chaperone

    Zabbixには情報を伝えるメディアとしてmailの他にslack、Rocket.Chat、Redmineとかも使える. ここでは Zabbix から slack を経由して利用者に通視させるようにしてみたいと思う 参照先 https://www.zabbix.com/integrations/slack 様 https://qiita.com/Higemal/items/f0bc18bf66e54628b22a 様 下準備† ブラウザでslackにログインして、https://api.slack.com/appsにアクセスします 下記画面になりますが、ここで「Create an App」をクリックします 「Create an app」画面が表示され、ここの「From scratch」をクリックします 次に表示された「Name app & choose workspace」にて 「App

    • 地雷覚悟で!Intel Arc A310のエンコード機能の実力を見る - 録画人間の末路 -

      先日チラっと書きましたが、Intel製GPU、ArcA310を搭載したグラボを買ったんです。わたしは基本GPUはほとんどCPUの内蔵しか使わないので外部を買うことは滅多にありません。買う時は特別な理由がある場合に限られます。出始めのCUDAを試したくてGeForce9800GTを買ったなんてのがその例です。最近はFluid Motion Video環境確保のためにRADEON RX 550あたりばかり買っていたのですが、気が向いてIntel製が使いたくなったので手を出してみたのです。ちなみにIntelのGPU搭載グラボを買ったのは初めてですね。昔i740が出た時はイメージが悪くて買わなかったので。購入したのはASRockの Intel Arc A310 Low Profile 4GB。A380の時も買おうか迷ったのですが、補助電源不要でかつセミファンレス動作が可能なASROCKのこれにしま

        地雷覚悟で!Intel Arc A310のエンコード機能の実力を見る - 録画人間の末路 -
      • PCユーザーの84%はAIを強化するPCの購入に否定的

        AIの進歩によってお絵かきソフトやカメラ、メモアプリなどさまざまなソフトウェアにAIが統合されるようになり、さらにAI処理に特化したプロセッサ「NPU」が登場し、MicrosoftなどいくつかのPCメーカーはNPUを搭載してAIを効率的に使えるとうたうPCを発表するなどPCとAIの連携が強化されつつあります。こうしたAI機能を備えたPCについて問うた調査に、84%の人が「お金を費やすつもりはない」と答えたことがわかりました。 Would you pay more for hardware with AI capabilities? | TechPowerUp Forums https://www.techpowerup.com/forums/threads/would-you-pay-more-for-hardware-with-ai-capabilities.322454/ Poll s

          PCユーザーの84%はAIを強化するPCの購入に否定的
        • NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules | NVIDIA Technical Blog

          NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules With the R515 driver, NVIDIA released a set of Linux GPU kernel modules in May 2022 as open source with dual GPL and MIT licensing. The initial release targeted datacenter compute GPUs, with GeForce and Workstation GPUs in an alpha state. At the time, we announced that more robust and fully-featured GeForce and Workstation Linux suppo

            NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules | NVIDIA Technical Blog
          • Lama Cleanerでローカルで消しゴムマジックをしてBB素材を作ろう - セーブポイント

            Lama Cleanerというローカルで簡単に画像から物体を取り除く編集ができるツールが便利なので紹介します。 github.com 必要なもの Python インストール方法 まず適当な場所にLama Cleaner用の仮想環境をvenvで作ります。 $ python -m venv venv $ cd venv $ ./venv/Scripts/activate 別に必ずしも環境を分けなくてもいいですが、一応。 CUDAに対応しているGPUを持っていてそれをLama Cleanerで利用したい場合は、先にPyTorchを今作成した環境内にインストールしておきます。 $ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 公式のドキュメントではPyTorch

              Lama Cleanerでローカルで消しゴムマジックをしてBB素材を作ろう - セーブポイント
            • ゲーム組み込みAI普及の展望(~2025)|Sta @ Bit192


              AIAI1030AI AIAI 2AI 
                ゲーム組み込みAI普及の展望(~2025)|Sta @ Bit192
              • OpenAIの共同設立者がAIネイティブな新機軸の教育手法の開発を目指す「Eureka Labs」を設立

                OpenAIの共同設立者でテスラのAI責任者も務めたアンドレイ・カルパシー氏が、AIを活用した新しいタイプの教育の創出を目指す企業「Eureka Labs」の設立を発表しました。 Eureka Labs https://eurekalabs.ai/ ⚡️ Excited to share that I am starting an AI+Education company called Eureka Labs. The announcement: --- We are Eureka Labs and we are building a new kind of school that is AI native. How can we approach an ideal experience for learning something new? For example, in the cas

                  OpenAIの共同設立者がAIネイティブな新機軸の教育手法の開発を目指す「Eureka Labs」を設立
                • ImageFlux Live StreamingでAIアシスタントを作ってみた | さくらのナレッジ

                  こんにちは、テリーです。ChatGPTのライバルサービスが次々に出てきています。GeminiもClaudeもそれぞれ特徴があり、同じプロンプトで比較しても全く異なる返答が来てとても興味深いです。人間の専門家で言うところの「セカンドオピニオン」「サードオピニオン」に相当するでしょうか。これからますます多くの専門家が登場し、いつでもどこでもAIを使う状態(コモディティ化)に向かっていくことが想像できます。 さて、AIと人間が文章で会話できる時代になりました。次は音声による会話の時代がすぐにやってきます。そのあとはAIキャラクターとのビデオ通話も来年には当たり前になっているでしょう。例えば旅行や結婚式のプランニングをカップルが相談するケースです。有料通話サービス中にAIが参加し、専門家として音声でアドバイスをしてくれたら高品質で格安のサービスが実現できそうです。 音声による会話やサポートを自社サ

                    ImageFlux Live StreamingでAIアシスタントを作ってみた | さくらのナレッジ
                  • 【Diffusers】Perturbed-Attention Guidance(PAG)とControlNetを組み合わせてみる - パソコン関連もろもろ

                    はじめにPerturbed-Attention Guidance(PAG)についてはこちらを見て下さい。 touch-sp.hatenablog.com 今回はぼやけた写真を修復する「SDXL_Controlnet_Tile_Realistic」と組み合わせてみます。用意した写真 結果 左上:PAGなし 右上:pag_applied_layers=["mid"] 左下:pag_applied_layers=["down.block_2"] 右下:pag_applied_layers=["down.block_2", "up.block_1.attentions_0"] 元画像と「pag_applied_layers=["mid"]」で作成した画像を並べた結果がこちらです。 Pythonスクリプト import torch from diffusers import ControlNetMo

                      【Diffusers】Perturbed-Attention Guidance(PAG)とControlNetを組み合わせてみる - パソコン関連もろもろ
                    • AIを使っての物体検出をYOLOv8を使ってやってみた


                      AI使YOLOv5使 AI使AI sakura-system.com AI使YOLOv5使AI  AI   使YOLOv5YOLOv8
                        AIを使っての物体検出をYOLOv8を使ってやってみた
                      • CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場

                        イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか?」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ

                          CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
                        • CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場

                          イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか?」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ

                            CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
                          • NVIDIA GPU向けCUDAのコードをそのままAMD GPU向けにコンパイル出来る「SCALE」が登場 | XenoSpectrum

                            人々をNVIDIA製GPUに縛り付けていた枷の一つが取り払われるかも知れない。英国の企業Spectral Computeが7年の開発期間を経て、CUDAプログラムをAMD GPUでネイティブに実行できるGPGPUツールチェーン「SCALE」を公開した。これにより、開発者はコードの変更なしにCUDAアプリケーションをAMD GPUで動作させることが可能になるのだ。 SCALEがもたらすGPGPU開発の新たな道 SCALEは、CUDAソースコードをAMD GPU向けにネイティブコンパイルする「クリーンルーム実装」として設計された。これまでのHIPIFYやZLUDAなどの既存のソリューションとは異なり、SCALEはコードの変換や移植作業を必要とせず、CUDAプログラムをそのままAMD GPU向けにコンパイルできる。 特筆すべき点として、SCALEはNVIDIAのnvccコンパイラの代替として機能

                              NVIDIA GPU向けCUDAのコードをそのままAMD GPU向けにコンパイル出来る「SCALE」が登場 | XenoSpectrum
                            • NVIDIAを大解剖 GPUベンダーはいかにして「AI半導体の雄」になったのか?

                              関連キーワード GPU | CPU | HPC NVIDIAはGPU(グラフィックス処理装置)ベンダーとして知られる会社だ。ただし同社は、GPUベンダーの一言では終われないほど多角的に成長してきた。NVIDIAとはどのような会社なのか。 創業者たちは、コンピュータグラフィックス(CG)技術が発展するためには、専用の半導体チップ(集積回路)が必要になると確信していた。NVIDIAの歴史はそこから始まる。同社は群雄割拠のGPU市場をどう勝ち抜いたのか。AI(人工知能)技術の利用が広がる今、何を提供しているのか。NVIDIAを理解するための歴史や同社の戦略、主力製品とは。 ゲーム向けGPUベンダーから「AI時代の雄」へ 併せて読みたいお薦め記事 NVIDIAの最新動向 スパコンでも“快進撃”のNVIDIA その野望は続くのか、終わるのか? GPUベンダーから“AIの会社”に変貌 NVIDIAの歴

                                NVIDIAを大解剖 GPUベンダーはいかにして「AI半導体の雄」になったのか?
                              • NVIDIA GeForce RTX 5000シリーズの消費電力が判明。全モデル16pinに変更

                                NVIDIA GeForce RTX 5000シリーズの暫定的な消費電力が判明。全モデル16pinに変更 NVIDIAでは2024年秋以降に次世代ディスクリートグラフィックスカードとしてBlackwellアーキテクチャを採用したGeForce RTX 5000シリーズの投入を計画していますが、今回このRTX 5000シリーズとして登場する各モデルの最大消費電力と見られる値が明らかになりました。 電源ユニットなどを販売するSeasonicがユーザー向けに最適な電源ユニットの容量を計算するサイトにて、GeForce RTX 5090からRTX 5050までのモデルが掲載されていることが発見され、各モデルの最大消費電力が割り出されました。各モデルの消費電力は以下の通りです。 スクロールできます GPUTDP対RTX 4000シリーズ対RTX 3000シリーズGeForce RTX 5090500

                                  NVIDIA GeForce RTX 5000シリーズの消費電力が判明。全モデル16pinに変更
                                • 【Diffusers】Perturbed-Attention Guidance(PAG)とIP-Adapterを組み合わせてみる - パソコン関連もろもろ

                                  はじめにPerturbed-Attention Guidance(PAG)についてはこちらを見て下さい。 touch-sp.hatenablog.com 今回こちらのmultiple IP-AdapterとPAGを組み合わせてみました。 touch-sp.hatenablog.com 結果「Plus」と「Plus Face」の組み合わせ 「Plus」と「FaceID」の組み合わせ 「Plus」と「Plus Face」と「FaceID」の組み合わせ 左から PAGなし pag_applied_layers=["mid"] pag_applied_layers=["down.block_2"] pag_applied_layers=["down.block_2", "up.block_1.attentions_0"] Pythonスクリプト「Plus」と「Plus Face」と「FaceID」

                                    【Diffusers】Perturbed-Attention Guidance(PAG)とIP-Adapterを組み合わせてみる - パソコン関連もろもろ
                                  • GKE で GPU 使うのめっちゃ簡単

                                    この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 2 日目の記事です。 「Kubernetes で GPU を使う」と聞くと結構ハードルが高く感じる方もいらっしゃるのではないでしょうか。本記事では GKE (特に GKE Autopilot) が GPU ワークロードの実行基盤として良いよという話をします。 tl;dr GKE で GPU 使うのめっちゃ簡単 クラスタを構築して nodeSelector 等で GPU Node を指定をしたマニフェストを適用するだけ (GPU デバイスドライバのインストールや管理も不要) Google Kubernetes Engine (GKE) とは Google Kubernetes Engine(以降 GKE)は Google Cloud が提供するフルマネージドな Kubernetes プ

                                      GKE で GPU 使うのめっちゃ簡単
                                    • #SCALEとは?CUDAアプリケーションをAMDGPU用に有益にコンパイルできるようにするGPGPUプログラミング ツールキット #七16

                                      https://docs.scale-lang.com より SCALEとは? SCALE は、CUDA アプリケーションを AMD GPU 用に有益にコンパイルできるようにする GPGPU プログラミング ツールキットです。 SCALE では、CUDA プログラムやそのビルド システムを変更する必要はありません。 より多くの GPU ベンダーと CUDA API のサポートが開発中です。 始めるには:をご覧ください チュートリアル.レビュー the 例示例.お問い合わせ 助けのために。 どのように機能しますか?# SCALEには、他のクロスプラットフォームGPGPUソリューションと比較して、いくつかの重要な革新があります:SCALE は CUDA プログラムをそのまま受け入れます。それらを別の言語に移植する必要はありません。これは、プログラムがインラインPTXを使用している場合でも同様で

                                      • SCALE GPGPU Programming Language

                                        SCALE is a GPGPU programming toolkit that allows CUDA applications to be natively compiled for AMD GPUs.

                                        • SCALE documentation

                                          SCALE by Spectral Compute# What is SCALE?# SCALE is a GPGPU programming toolkit that allows CUDA applications to be natively compiled for AMD GPUs. SCALE does not require the CUDA program or its build system to be modified. Support for more GPU vendors and CUDA APIs is in development. To get started: See the tutorial. Review the examples. Contact us for help. How does it work?# SCALE has several k

                                          • CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場

                                            イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか?」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ

                                              CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
                                            • TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話

                                              ■目次 ・1.はじめに/注意事項 ・2.ハードウェア ・3.ソフトウェア ・4.BIOS設定 ・5.OSのインストール ・6.CUDAのインストール ・7.カードにPLを設定する ・8.DockerでText generation web UIを立ち上げる ・9.言語モデルのダウンロードと設定、推論など ・10.参考にしたサイトなど 1.はじめに/注意事項中古のNVIDIA Tesla P40/24GBをローカルLLMの推論用に使うのは茨の道です。 ローカルLLM推論用に大容量のVRAMが欲しければ素直にマイニング落ちのRTX3090/24GBなどを使う方が難易度/汎用性/ワッパ/リセールバリュー(手放して売る際の値段など)などの面で優れています。 Linux環境ではIntel/Arc、AMD/Radeonという選択肢もあります。 2.ハードウェアTesla P40はサーバー/ワークステー

                                                TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話
                                              • はじめての自然言語処理 Prefix Tuning の検証 | オブジェクトの広場

                                                今回は Prefix Tuning の検証 のご紹介です。扱うモデルサイズがだんだんと大きくなるばかりの昨今。ファインチューニングは LoRA 的なコトでどうにかするとしても、それなりのサイズ感のモデルから派生したファインチューニング済みモデルを複数デプロイしようとすると、GPU メモリが足りません。そこを Prefix Tuning でどうにかしたいというお話です。 1. はじめに 前回 RLHF で散々苦労して、その後すぐに LIMA1 の論文を読んで魂抜けそうになりました。。。 最近、身の回りでは GPT-4 やら Function calling やら LangChain やら Llama2 やらの話題が多くてですね、 「学習済みモデルを拾ってきて手元のデータで学習!」とかしていると周囲とのズレを感じずにはいられません2 。。。 とはいえ、流行りものは沢山の人が記事を書くので、今回

                                                  はじめての自然言語処理 Prefix Tuning の検証 | オブジェクトの広場
                                                • 日本語をAIの呪文に変換するLLMシステムの開発|とりにく


                                                  LLMGemma2-9B Ollama使llama-cpp-python CUDA12.1 python -m venv venv venv\Scripts\activate pip install sentence-transformers faiss-cpu numpy einops pandas pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121RAGpickleR
                                                    日本語をAIの呪文に変換するLLMシステムの開発|とりにく
                                                  • 【Diffusers】Perturbed-Attention Guidance(PAG)を使ってみる - パソコン関連もろもろ

                                                    はじめに「Perturbed-Attention Guidance」というのが新しく紹介されていたので久しぶりに画像生成をやってみました。「Perturbed-Attention Guidance」とは?公式の紹介をDeepLで翻訳したものをのせておきます。 Perturbed-Attention Guidance (PAG)は、新しい拡散サンプリングガイダンスであり、無条件設定と条件設定の両方にわたってサンプルの品質を向上させ、さらなるトレーニングや外部モジュールの統合を必要とせずにこれを達成する。PAGは、自己アテンションメカニズムが構造情報を捕捉する能力を考慮することにより、ノイズ除去プロセス全体を通して、合成されたサンプルの構造を徐々に向上させるように設計されている。これは、拡散U-Netの選択された自己注意マップを同一行列で置換することにより、劣化した構造を持つ中間サンプルを生成

                                                      【Diffusers】Perturbed-Attention Guidance(PAG)を使ってみる - パソコン関連もろもろ
                                                    • Krita-AI-Diffusionを使ったAI線画の作成方法|ぽんつく

                                                      上記から最新のバージョンをダウンロードしましょう。 Kritaのインストールから起動までの方法については特に難しい箇所はないので省略します。好きな場所にインストールしてください。 Krita-AI-Diffusionのインストール※この箇所はプラグインのバージョンアップに伴い古くなる可能性があるので、その際は公式のドキュメントを参照してください。 続いてKrita-AI-Diffusionを上記のページよりダウンロードします。 これも基本的に最新のバージョンで問題ないですが、この記事の作成では Version 1.19.0 を使用しています。 次にKritaを起動させたら、 [ツール]→[スクリプト]→[pythonプラグインをファイルからインポート] を選択し、ダウンロードしたプラグインの.zipファイルを直接指定します。(解凍したファイルは指定できない) つい手癖でzipファイルを解凍

                                                        Krita-AI-Diffusionを使ったAI線画の作成方法|ぽんつく
                                                      • GPGPUのメモリアーキテクチャついて考えてみる - Ryuz's tech blog

                                                        GDDR について もともとGPGPUはGPUであり、GPUはグラフィックスボードであります。 グラフィックスボードは、DVIとかHDMIとかDisplayPort を備え、60fps などで毎フレーム画像を生成&出力するものですが、そうするとゲームなどではその fps に対して、例えば 60fps であれば 16.6ms の時間で読みだせる分量だけのテクスチャなどを絵作りに使えることになります。昨今ではマルチパスレンダリングも当たり前に行われていますので、1枚の絵を作るためにメモリ上での描画作業は何度も繰り返されます。 つまり1枚の絵を、より高精細で複雑にしようとするととにもかくにも大量のバス帯域が無いとはじまりません。 逆に、1フレーム時間で読みだせない容量があっても、それは別のシーンの描画の為の準備的なデータを置いておくことにしか使えませんので、やはり容量より帯域が優先されがちです。

                                                          GPGPUのメモリアーキテクチャついて考えてみる - Ryuz's tech blog
                                                        • llama.cppをDocker-composeでビルドから構築する方法 - Sun wood AI labs.2

                                                          なぜDocker-composeを使うのか Docker-composeを使用することで、llama.cppの環境構築を簡単に行うことができます。複雑な依存関係や環境設定を、簡単に再現可能な形で管理できるのが大きな利点です。 準備 必要なツール Docker Docker-compose Git(ソースコードの取得に使用) ディレクトリ構造の作成 まず、プロジェクトのディレクトリを作成しましょう。 mkdir llama-cpp-project cd llama-cpp-project Docker-compose.ymlの作成 基本構成 docker-compose.ymlファイルを作成し、以下の内容を記述します。 version: '3.8' services: app: build: . volumes: - .:/app tty: true env_file: - .env ext

                                                            llama.cppをDocker-composeでビルドから構築する方法 - Sun wood AI labs.2
                                                          • ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた - Sun wood AI labs.2

                                                            Docker/docker-composeのインストール Dockerのインストールはこちらを参考にしてください。 プロジェクトの作成 まず、任意のディレクトリを作成し、その中に以下の3つのファイルを作成します。 Dockerfile.llama Dockerfile docker-compose.yml Dockerfile.llama # ビルドステージ ARG CUDA_IMAGE="12.5.0-devel-ubuntu22.04" FROM nvidia/cuda:${CUDA_IMAGE} # 外部からのアクセスを許可するために、ホストを0.0.0.0に設定する必要がある ENV HOST 0.0.0.0 # 必要なパッケージのインストールと OpenCL の設定 RUN apt-get update && apt-get upgrade -y \ && apt-get ins

                                                              ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた - Sun wood AI labs.2
                                                            • コメント/Xformersを導入する - としあきdiffusion Wiki*

                                                              Xformersを導入する こちらのwebui-user.batの書き換えではうまくインストールできませんでしたがhttps://www.youtube.com/watch?v=ZVqalCax6MAこちらを参考にしてlaunch.pyのとある個所を--xformersに書き換えたら無事インストールできました -- k? 2022-12-15 (木) 16:17:26 動画の5:50あたりから解説されています -- 2022-12-27 (火) 06:59:32 webui.batの方を起動してるせいでそもそも適用されてないってオチではなくて? -- 2022-12-29 (木) 17:43:16 きっとそのオチだったかもしれません。webui-user.batを起動してこうしんするのですね!初心者が大変ご迷惑をおかけしました。すみません。 -- k? 2023-01-01 (日) 00:

                                                                コメント/Xformersを導入する - としあきdiffusion Wiki*
                                                              • Pythonの実行を高速化する方法を一覧でまとめてみた - Qiita

                                                                1. クラスタレベル 複数のマシンを使用するクラスタレベルで分散処理することで高速化する方法です。 もうここまでくると Python というプログラミング言語レベルではなくなりますが、高速化の選択肢として説明します。 Hadoop 大量のデータを複数マシンに分散して処理させるオープンソースのプラットフォーム。 Google社内基盤技術をオープンソースとして実装したものらしいです。 Apache Spark カリフォルニア大学バークレー校で開発された分散処理フレームワーク。 Hadoopよりもメモリをうまく使うことで、機械学習を高速で実行できるようにしたものです。 2. コンピュータレベル 1台のコンピュータの中で高速化する方法です。 高速化のアプローチとしては、並列化、GPGPUの選択があります。 2-1. 並列化 一つのマシンの中で、プログラムを並列化して実行して高速化する方法です。 詳

                                                                  Pythonの実行を高速化する方法を一覧でまとめてみた - Qiita
                                                                • Rye × uvでPython環境と機械学習環境を整える


                                                                  E2E(@colum2131) Python使Ryeuv使RyeuvRyeuv 1. Rye × uv RyePythonPoetrypyenvPythonRyePythonPoetrypyproject.toml使uvpippip-too
                                                                    Rye × uvでPython環境と機械学習環境を整える
                                                                  • ラスベガスの大半球「Sphere」、約150個のNVIDIA RTX A6000で制御されていた


                                                                    NVIDIA79Sphere NVIDIA SphereLED5.41.5 SphereNVIDIA150NVIDIA RTX A60001616K NVIDIA BlueField DPUNVIDIA Con
                                                                      ラスベガスの大半球「Sphere」、約150個のNVIDIA RTX A6000で制御されていた
                                                                    • FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision

                                                                      Attention, as a core layer of the ubiquitous Transformer architecture, is a bottleneck for large language models and long-context applications. FlashAttention (and FlashAttention-2) pioneered an approach to speed up attention on GPUs by minimizing memory reads/writes, and is now used by most libraries to accelerate Transformer training and inference. This has contributed to a massive increase in L

                                                                        FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
                                                                      • サイバーエージェントが公開している「CyberAgentLM3-22B-Chat」をGradioを使ってローカルで使用する - パソコン関連もろもろ

                                                                        PC環境 Ubuntu 24.04 on WSL2 (Windows 11) CUDA 12.1 Python 3.12 Python環境構築 pip install torch==2.3.1+cu121 --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate bitsandbytes gradio モデルの量子化4bit量子化を行いました。 from transformers import AutoModelForCausalLM, BitsAndBytesConfig # model was downloaded from https://huggingface.co/cyberagent/calm3-22b-chat quantization_config = Bit

                                                                          サイバーエージェントが公開している「CyberAgentLM3-22B-Chat」をGradioを使ってローカルで使用する - パソコン関連もろもろ
                                                                        • 【機械学習】PyTorchでマルチGPU学習|技術ブログ|北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ

                                                                          オートエンコーダとは(シングルGPU学習) 一般にオートエンコーダは与えられた高次元のデータをより低い次元の潜在空間上にマップするEncoderと潜在空間から元のデータへ復元するDecoderで構成されます。 近年話題のStableDiffusion等の潜在拡散モデルではオートエンコーダ(VQVAEを使っているようです)の潜在空間上で生成を行うことで計算量の削減をしています。 この記事ではMNISTデータセットの28×28の数字画像を32次元のベクトルに変換するオートエンコーダを作ります。 まずは単一GPUでのオートエンコーダの学習を書いてみます。 学習モデルは次の通りです: class Encoder(nn.Module): def __init__(self, width, height, hidden_dim): super().__init__() self.width = wid

                                                                            【機械学習】PyTorchでマルチGPU学習|技術ブログ|北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
                                                                          • Kwai-Kolors/Kolors · Hugging Face

                                                                            Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis 📖 Introduction Kolors is a large-scale text-to-image generation model based on latent diffusion, developed by the Kuaishou Kolors team. Trained on billions of text-image pairs, Kolors exhibits significant advantages over both open-source and proprietary models in visual quality, complex semantic accuracy, and

                                                                              Kwai-Kolors/Kolors · Hugging Face
                                                                            • 【UiPath】AWS/Azure仮想マシンでローカルLLM環境を構築する - Qiita


                                                                                Llama 3  Phi-3  Gemma 2 LLM LLMGPU AWSAzureLLM Ollama APIPython, REST API, UiPath Studio   : Amazon EC2Azure Virtual MachineGPU  : NVIDIACUDA Docker : DockerOllamaOpen WebU
                                                                                【UiPath】AWS/Azure仮想マシンでローカルLLM環境を構築する - Qiita
                                                                              • NVIDIA GeForce RTX 5090のベースクロックは2.9 GHzに。RTX 4090から30%向上

                                                                                NVIDIA GeForce RTX 5090のベースクロックは2.9 GHzに設定。RTX 4090から30%向上 NVIDIAでは2024年秋ごろに次世代グラフィックスカードとしてBlackwellアーキテクチャーを搭載するGeForce RTX 5000シリーズの投入を予定しています。今回、同グラフィックスカードの中で最上位モデルになるGeForce RTX 5090の動作クロックに関するリーク情報が明らかにされています。 Chiphellに掲載された情報によると、GeForce RTX 5090については動作クロックが非常に高く設定される見込みとのことで、ベースクロックは2.9 GHzに設定されており、今後の最適化やAIBによるオーバークロックモデルの場合、3 GHzを超える可能性すらあるようです。現行のGeForce RTX 4090ではベースクロックは2235 MHzに設定され

                                                                                  NVIDIA GeForce RTX 5090のベースクロックは2.9 GHzに。RTX 4090から30%向上
                                                                                • 「競技場」が2025年オープン、量子コンピューターが迎えるChatGPTモーメント

                                                                                  産総研のG-QuATでは、2025年に3つのコンピューターが稼働する予定だ。米NVIDIA(エヌビディア)の人工知能(AI)用GPU(画像処理半導体)である「H100」を2000基以上搭載するスーパーコンピューターの「ABCI-Q」、富士通が開発した超電導方式の量子コンピューター、米国のスタートアップであるQuEra Computing(クエラ・コンピューティング)が開発した冷却原子方式の量子コンピューターである。これらで「量子・AIクラウドプラットフォーム」を構成する。このプラットフォームには、新たな量子コンピューターの追加も想定されている。 GPUスーパーコンピューターであるABCI-Qを構築するのは富士通で、産総研との契約額は92億4000万円。富士通の超電導方式量子コンピューターの契約額は59億9500万円、クエラの冷却原子方式量子コンピューターの契約額は64億9999万9999円

                                                                                    「競技場」が2025年オープン、量子コンピューターが迎えるChatGPTモーメント