並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 1466件

新着順 人気順

CUDAの検索結果241 - 280 件 / 1466件

  • VSCode+Docker+ROSで開発環境を構築する - Qiita

    こんにちは、@ryu_softwareです。普段は業務で自律移動ロボットのソフトウェアをいじってます。 以前のアドベントカレンダーでこんなの書きました。久しぶりの参加になります。 今回は僕が普段使ってる開発環境について、皆さんにとって参考になるかどうかは微妙かもしれませんが構築方法と使い方についてのメモを残そうと思います。 開発環境について 最近kineticやらmelodicやら、ROS2やらなんやらでいろんな開発環境を用意しなきゃいけなくてそうしてると自分のPCの環境を汚しかねない(最悪ぶち壊す)なぁと思っていて、色々テストしたりちょっと開発する時に必要な複数の開発環境をDockerを用いて使い分けていました。Dockerfileを分けておけばローカルの環境を汚さずに色々テストできるので結構便利でした。 僕は普段の開発において、最近Visual Studio Codeを使用していて、R

      VSCode+Docker+ROSで開発環境を構築する - Qiita
    • 実験用 GPU 環境をどう準備したらいい?(非情報系が機械学習を使う研究をしたいとき) - 木曜不足


      使 使 PC  GPU PC  GPU 使PC
        実験用 GPU 環境をどう準備したらいい?(非情報系が機械学習を使う研究をしたいとき) - 木曜不足
      • Introducing Triton: Open-source GPU programming for neural networks

        Triton makes it possible to reach peak hardware performance with relatively little effort; for example, it can be used to write FP16 matrix multiplication kernels that match the performance of cuBLAS—something that many GPU programmers can’t do—in under 25 lines of code. Our researchers have already used it to produce kernels that are up to 2x more efficient than equivalent Torch implementations,

          Introducing Triton: Open-source GPU programming for neural networks
        • おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena


          ChatGPT ChatRWKV ChatGPT LLMFlexGenGPU https://github.com/FMInference/FlexGen Alpaca.cpp https://github.com/antimatter15/alpaca.cpp ChatRWKV8GB VRAMGPU
            おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena
          • Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

            はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語特化 InstructGPT を使った。 GPU on WSL 基本的に この手順 に従って進めれば WSL で GPU が使えるようになる。具体的には、Windows 11 へ WSL 対応 NVIDIA ドライバのインストール、WSL 内で CUDA Toolkit インストールの 2 点。 NVIDIA ドライバのインストールは NVIDIA のドライバダウンロードサイトで Windows 11

              Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log
            • CUDAによる局所特徴量計算の高速化とソースコード公開 - Fixstars Tech Blog /proc/cpuinfo


                 adaskitlibSGMcuda-bundle-adjustment Visual SLAMSfM(Structure from Motion)CUDAcuda-efficient-featuresGitHub fixstars/cuda-efficient-features   Visual SLAMSfM2姿
                CUDAによる局所特徴量計算の高速化とソースコード公開 - Fixstars Tech Blog /proc/cpuinfo
              • GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog

                目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは!カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていただいている村尾(@MURA_omura)です。 私は高専の専攻科生で、現在GANsを用いた音声生成に関する研究に取り組んでいます。 高専といえばYouTubeで100万人の登録者がいるかっつーさんや、生活に技術を取り込むのが上手なラムダ技術部さんが有名です。 1年半ほど前からKey作品にはまっていて、この間Summer Pockets REFLECTION BLUEを購入しました! Kye作品は泣ゲーで知られていて、 「CLANNADは人生」 というフレ

                  GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog
                • 西川善司の3DGE:GeForce RTX 30シリーズのアーキテクチャを探る。CUDA Coreの増量とRT Coreの高性能化に注目だ

                  西川善司の3DGE:GeForce RTX 30シリーズのアーキテクチャを探る。CUDA Coreの増量とRT Coreの高性能化に注目だ ライター:西川善司 去る9月2日,NVIDIAは,オンラインイベント「GeForce Special Event」を行い,新世代GPU「GeForce RTX 30」シリーズを発表した。発表となったGPU製品は「GeForce RTX 3090」「GeForce RTX 3080」「GeForce RTX 3070」の3種類で,2018年8月に発表となった「GeForce RTX 20」シリーズの後継製品となる。 本稿では,GeForce RTX 30シリーズのアーキテクチャについて詳しく解説してみよう。 Ampere世代のGPUアーキテクチャを検証する Ampere初のGPUである「GA100」を搭載するモジュール 今回発表となったGeForce R

                    西川善司の3DGE:GeForce RTX 30シリーズのアーキテクチャを探る。CUDA Coreの増量とRT Coreの高性能化に注目だ
                  • 角度を用いた深層距離学習(deep metric learning)を徹底解説 -PytorchによるAdaCos実践あり-|はやぶさの技術ノート


                     @Cpp_Learning SphereFaceCosFaceArcFaceAdaCos
                      角度を用いた深層距離学習(deep metric learning)を徹底解説 -PytorchによるAdaCos実践あり-|はやぶさの技術ノート
                    • ウマ娘はレース場で「馬」となる?(darknet・ディープラーニング) - えいあーるれいの技術日記

                      きっかけはちょっと余計な疑問でした。 デビットカードをようやく作ったことでサブスクやネット注文が容易にできるようになり動画をサブスクし始めたのが一ヶ月前。 いろいろ探して番組を視聴しているうちに年齢や性別の関係からかオススメに「ウマ娘」がでてきて視聴し始めたのがこの作品を知るきっかけになりました。 ゲームベースのアニメで好きなものと言ったら、ポケモンとかイナズマイレブン(無印)くらいで、実は今年の秋まで1期12話のアニメをほとんど見ていませんでした。 「ウマ娘」。名前は耳にしたことあるけど馬って言われても分からんしな〜〜。でもなんか人気らしいしな〜〜と思いつつ1期を見たらとても良かった。 個性豊かな可愛らしいキャラクターたちがレース場を爆走するというギャップ、憧れの先輩を目指して(というよりも仲間)とともに練習に励みたとえ挫折しても仲間たちと協力して乗り越えていくという誰でも没入できるスト

                        ウマ娘はレース場で「馬」となる?(darknet・ディープラーニング) - えいあーるれいの技術日記
                      • NVIDIAの訓練済みモデルで遊ぶ - Qiita

                        NVIDIA は訓練済みモデルを公開している NVIDIA は最新のモデルの実装や、訓練済みモデルを公開しています。 カタログページ では、DeepLearning に限らず docker のコンテナなど分野問わず研究成果を公開していて見ていて楽しいです。 また、github の NVlabs では、実装が置いてあったりします。 今回は、この中から面白そうなもので、訓練済みモデルをダウンロードできるものを使って遊んでみたいと思います。 使うモデル NVlabs の中の FUNIT というものを使って遊びたいと思います。 pix2pix のような Image-to-Image Translation のモデルのようです。 犬を別の動物に変えるような画像を生成したりしています。 訓練では動物の顔を別の動物の顔に変換するような訓練をしていますが、自分の顔の画像を入力して自分の顔を別の動物に変えて

                          NVIDIAの訓練済みモデルで遊ぶ - Qiita
                        • C++ のパッケージマネージャーの選択メモ( conan vs. vcpkg vs. Hunter on Windows and Ubuntu ): C++ 実装がサブプロジェクトとして内包されるクロスプラットフォームアプリのリポジトリーの場合 - C++ ときどき ごはん、わりとてぃーぶれいく☆

                          タイトルが少しややこしいので最初に整理します。 このメモは: C++ のパッケージマネージャーの選択のはなし ただし: アプリはクロスプラットフォーム ( このメモでの具体例は Windows-10 & Ubuntu-19.04 ) アプリ全体(=このメモでは「ソリューション」とします)はいくつかの構成部品(=このメモでは「プロジェクト」とします)に分けて作られる プロジェクトの1つ以上に C++ を採用したい そのプロジェクト単位で C++ のライブラリーを管理できるパッケージマネージャーを導入したい → どうするのが楽そうかな のメモです。 選択肢と大雑把な検討 conan https://conan.io/ クロスプラットフォーム対応の C++ のパッケージマネージャーが欲しいの悩みに答えてくれる定番。 CMake でごにょごにょする vcpkg https://github.com

                            C++ のパッケージマネージャーの選択メモ( conan vs. vcpkg vs. Hunter on Windows and Ubuntu ): C++ 実装がサブプロジェクトとして内包されるクロスプラットフォームアプリのリポジトリーの場合 - C++ ときどき ごはん、わりとてぃーぶれいく☆
                          • GiNZA v5のTransformerモデルによる固有表現抽出 | 株式会社AI Shift

                            こんにちは AIチームの戸田です 今回は日本語NLPライブラリであるGiNZAのv5から実装されたTransformerモデルによる固有表現抽出を試します。 固有表現抽出とは、入力となる自然文から地名や製品名などの固有名詞を抽出するタスクです。今回固有表現抽出に使用するデータセットとして、ストックマーク株式会社が作成したWikipediaを用いた日本語の固有表現抽出データセットを使用します。また、Transformerモデルは処理に時間がかかるので、環境はGoogle ColaboratoryのGPU環境を利用しました。 事前準備 wgetを使ってデータセットをダウンロードします。 wget https://raw.githubusercontent.com/stockmarkteam/ner-wikipedia-dataset/main/ner.json 必要なpythonライブラリをダ

                              GiNZA v5のTransformerモデルによる固有表現抽出 | 株式会社AI Shift
                            • GraphRAGシステムの使い方:初心者向け完全ガイド - Sun wood AI labs.2

                              はじめに GraphRAGは、テキストデータのインデックス作成と質問応答を行うための強力なシステムです。この記事では、GraphRAGシステムの基本的な使い方を、初心者の方にも分かりやすく説明していきます。 こちらの記事もおすすめ GraphRAGの検索手法:LocalSearchとGlobal Searchの徹底比較はじめにみなさん、こんにちは!今日は、GraphRAGというすごく便利なライブラリの中にある二つの検索方法について、わかりやすくお話しします。その二つとは、「LocalSearch(ローカルサーチ)」と「Global Search(グローバ...hamaruki.com2024.07.04 GraphRagでグローバル検索システムの構築:AI駆動のデータ分析入門はじめにこのチュートリアルでは、大規模なデータセットに対して効率的な検索を行う「グローバル検索システム」の構築方法を

                                GraphRAGシステムの使い方:初心者向け完全ガイド - Sun wood AI labs.2
                              • インタラクション向け3Dセンサの仕様と撮影結果を比較してみた | | AI tech studio

                                AI Labの尾崎です。 主に人間とロボットとのインタラクションに関する技術開発を担当しております。 さて、インタラクションといえば、ARやVRを始めとしたxRが巷で流行っていると思います[1]。たとえば、家具のCGオブジェクトを現実空間に重ねて表示[2]したり、VRゴーグルをかぶって仮想空間の物体をリズムに合わせて斬るゲーム[3]なんかがあります。 このxRではユーザ体験を向上させるために、物体や人体との距離などを測定することがあります。たとえば、AR上でオブジェクトが障害物に隠れる現象(オクルージョン)を再現するため、VR空間上に手を表示するため、空間を3Dモデルとして保存するために測定されます。 このときに役立つハードウェアがデプスセンサやLiDARなどと呼ばれる3Dセンサ(俗称)[4]になります。しかし、この3Dセンサはたくさん種類があり、それぞれどのような特性を持つのか私を含め知

                                  インタラクション向け3Dセンサの仕様と撮影結果を比較してみた | | AI tech studio
                                • Optimizing your LLM in production

                                  Note: This blog post is also available as a documentation page on Transformers. Large Language Models (LLMs) such as GPT3/4, Falcon, and LLama are rapidly advancing in their ability to tackle human-centric tasks, establishing themselves as essential tools in modern knowledge-based industries. Deploying these models in real-world tasks remains challenging, however: To exhibit near-human text unders

                                    Optimizing your LLM in production
                                  • 100fps超え画像生成StreamDiffusionのデモに飽きたら次に進もう。stremオブジェクトで動かすコツ公開|めぐチャンネル

                                    解説を論文執筆者でプロジェクトの代表でもある「あき先生」が解説してくださっているYuTubeもあります。論文の拾い読みもしていただいており、とても参考になりますので、ぜひご覧ください。(3時間と長いですが飛ばせるような、無駄な部分はありません) デモやサンプルコードも豊富にあるので、機能や性能を知りたい場合はそちらを動かしてください。大変興味深いデモもあります。アプリに組み込む場合もラッパーが準備されているのでそちらを使えば厄介なpipeやstreamオブジェクトの操作は必要ありません。しかし、性能を引きだしなが柔軟にアプリで使用するためには直接pipeやstreamを操作する方がよさそうです。この記事では後者のケースでStreamDiffusionを使用する時のコツについてこれまでにテストした手法を解説します。 環境構築Readmeに記述されているとおりに構築を進めます。デモやexamp

                                      100fps超え画像生成StreamDiffusionのデモに飽きたら次に進もう。stremオブジェクトで動かすコツ公開|めぐチャンネル
                                    • Nintendo Switch 2の暫定スペックがリーク。DLSS 3採用でスペック以上に高画質・高フレームレートでの動作が可能か | ニッチなPCゲーマーの環境構築Z


                                      Nintendo SwitchNintendo Switch 2 ()YouTubeGamingRedTech Nintendo Switch 2Nintendo Switch 2 Nintendo Switch 2 Nintendo Switch 2  CPU8ARM Cortex-A78GPUNVIDIA Ampere12SM (1536CUDA)Ada Lovelace12GB LPDDR5 128bit
                                        Nintendo Switch 2の暫定スペックがリーク。DLSS 3採用でスペック以上に高画質・高フレームレートでの動作が可能か | ニッチなPCゲーマーの環境構築Z
                                      • iMac Retina 5K 2019レビュー: 再び5Kを選んだ理由

                                        iPhone / Mac iMac Retina 5K 2019レビュー: 再び5Kを選んだ理由 Monday, October 28th, 2019 私は2014年からiMac Retina 5Kディスプレイモデルを使用していました。 約5年経過して買い換えを検討し、Windows PCなども含めて散々迷った挙句、結局また2019年版のiMac 5Kモデルを購入しました。 この記事ではなぜまたiMacを購入したのか、なぜその構成にしたのか、などといったことについて書いています。 もちろん使ってみての感想も書いています。 Photo by Carl Heyerdahl. この写真のみ私が撮影したものではありません。この記事の他の写真は私が撮影したものです。 iMac 2014を5年使ってみてどうだったか iMac Retina 5K Late 2014(以下iMac 2014と表記)はMa

                                          iMac Retina 5K 2019レビュー: 再び5Kを選んだ理由
                                        • リークされたNovelAIのデータでローカル実行してみた - Qiita

                                          更新 2022/10/17 設定に間違いがあったので修正しました。 コメントくださった方ありがとうございます。 ある程度知識ある人向け わかんないことはググって (まあそういう人らは自分でやってそうだけどね 自己責任でどうぞ 細かいことは知らん これでPCが爆発しようがウイルスに感染しようが怖い人が来ようが世界から消されようが私の知るところではない そもそも NovelAIDiffusionだろうがWaifuDiffusionだろうが元はStableDiffusionってOSSのAIモデル。 その中でもNovelAIは独自に改良と賛否両論な例の学習データを駆使してずば抜けた精度を発揮した んで先日この独自のデータが見事に漏洩。5chはお祭り騒ぎだったね。。 NovelAIがどんな改善を加えて高精度なイラスト生成をしているのかについては下記 https://gigazine.net/news

                                            リークされたNovelAIのデータでローカル実行してみた - Qiita
                                          • Windows10とCUDAでPyTorchを使う準備 - ITips

                                            Windows10のGPU環境でPyTorchやTensorFlowを利用したい。 そのためにはCUDAのcudnnのインストールが必要となる。 今回はWindows10とCUDAでPyTorchを使う準備について紹介する。 WindowsでCUDAを使う準備 PyTorchにしろTensorFlowにしろ、GPU環境で利用するにはCUDAの準備が必要だ。 WindowsでCUDAを使う準備としては以下の通り。

                                              Windows10とCUDAでPyTorchを使う準備 - ITips
                                            • 西川善司の3DGE:IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた

                                              西川善司の3DGE:IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた ライター:西川善司 既報のとおり,Intelは,単体GPU製品「Intel Arc」(以下,Arc)シリーズを発表した。 Intelが2020年に発表した「Iris Xe MAX」は,同社が,Intel 740(i740)をリリースした1998年以来,22年ぶりにリリースした単体GPU(Discrete GPU)だった。その進化版となるGPUが,今回のArcである。 発表イベント前に行われた技術説明会では,Arcに関する詳しい解説が行われたので,考察も交えて詳細に見ていきたい。 ArcシリーズはACM-G10とACM-G11の2種類が存在 Arcの開発コードネームは,もともと第2世代単体GPU(Discrete Graphics 2nd)の意味である「DG2」だったが(

                                                西川善司の3DGE:IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた
                                              • DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23

                                                DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23 Docker社は米ロサンゼルスで10月3日と4日の2日間、年次イベントとして開催した「DockerCon 23」で、WebGPUを抽象化レイヤとすることで、コンテナ化されたGPUアプリケーションをポータブルにする技術を開発中であると明らかにしました。 この技術は2日目の基調講演の後半、Docker CTOであるJustin Cormack氏がOne more thingとして発表したものです。 GPUを用いたアプリケーションのポータビリティが課題に Dockerコンテナはポータビリティが大きな特長です。ノートPCからオンプレミスのサーバ、クラウド上の仮想マシンまで、簡単にDockerコンテナを移動し、そのまま実行できます。 Docke

                                                  DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23
                                                • Stable Diffusion GRisk GUI 0.1 by GRisk

                                                  Requirement: This project require a Nvidia Card that can run CUDA. With a card with 4 vram, it should generate 256X512 images. 🎉 Attention! This version is highly outdated: 🎉 ✨Download the last update from Patreon.✨ 👉 https://www.patreon.com/DAINAPP 👈 In the Patreon version you can run: 512X512 with 4 VramUse upscaler Faster render with more schedulersUse img2imgUse inpaintingLoad other models

                                                    Stable Diffusion GRisk GUI 0.1 by GRisk
                                                  • GeForce RTX 3070シリーズは7万9980円~で10月29日に発売


                                                    NVIDIA101AmpereGPUGeForce RTX 30701029Founders Edition79980 GeForce RTX 3070GeForce RTX 2080Ti914995300010 GeForce RTX 308030909 GeForce RTX 3070 CUDA5888 1.5GHz 1.73GHz 8GB GDDR6X 
                                                      GeForce RTX 3070シリーズは7万9980円~で10月29日に発売
                                                    • Visual ChatGPTが誰でも使えるようになっていたので画像を生成してみた | DevelopersIO

                                                      はじめに 新規事業統括部Passregiチームの山本です。 最近、特に3月1日ChatGPTのAPIが公開されてから、AIを使ったチャットボットに関する話題が増えています。そんな中、ChatGPTを利用した、画像を対話的に生成したり説明させたりできる、Visual ChatGPTが公開されたので、早速動かしてみました。 Visual ChatGPTについて Visual ChatGPTは、クエリに関するプロンプトマネージャ介して、さまざまな画像のモデルとChatGPTを使用することで、画像を対話的に生成します。細かい内容は論文にゆずろうかと思います。 https://arxiv.org/abs/2303.04671 より これが実行できるソースコードが、つい先日(自分の知る限りだと3月9日に)githubで公開されました。当初、自分の持っているWindows機で実行してみたのですが、使用し

                                                        Visual ChatGPTが誰でも使えるようになっていたので画像を生成してみた | DevelopersIO
                                                      • テキスト/画像から3Dモデルを生成する【Shap-E】 - Qiita

                                                        使い方pip install -e . でインストール 上記のようなモデルを生成するには、次のノートブックを参照してください。: sample_text_to_3d.ipynb - テキスト プロンプトで条件付けされた 3D モデルのサンプル sample_image_to_3d.ipynb - 合成ビュー画像で調整された 3D モデルをサンプリングします encode_model.ipynb - 3D モデルまたはトリメッシュをロードし、マルチビュー レンダリングとポイント クラウドのバッチを作成し、それらを潜在的にエンコードして、レンダリングし直します。これを機能させるには、Blender バージョン 3.3.1 以降をインストールし、環境変数BLENDER_PATHを Blender 実行可能ファイルのパスに設定します。 テキストから3Dモデルを生成するimport torch fr

                                                          テキスト/画像から3Dモデルを生成する【Shap-E】 - Qiita
                                                        • 画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた

                                                          Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能&人名クイズにも正答できる無料の高性能チャットAI「LLa

                                                            画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
                                                          • Google Colab で LLaMA-Factory を試す|npaka


                                                            Google ColabLLaMA-Factory Google Colab Pro/Pro+A100 1. LLaMA-FactoryLLaMA-FactoryWebUILLMLLM     Wiki Demo (en) RefinedWeb (en) RedPajama V2 (en) Wikipedia (en) Wikipedia (zh) Pile (en) SkyPile (zh) The Stack (en) StarCoder (en) SFT Stanford
                                                              Google Colab で LLaMA-Factory を試す|npaka
                                                            • エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use(技術スタックデータベース)


                                                              VPoETop3  VPoE CTO
                                                                エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use(技術スタックデータベース)
                                                              • 大規模言語モデルを自作しよう!(Transformers+DeepSpeed+torch.compile+flash_attn2)

                                                                本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル(LLM)の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報

                                                                  大規模言語モデルを自作しよう!(Transformers+DeepSpeed+torch.compile+flash_attn2)
                                                                • Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成 - 端の知識の備忘録

                                                                  概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました!これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Math-7Bを利用している LLMが出力したPythonコードを実行するインタープリターを実装することで、LLMのハルシネーションによる計算ミスを防ぐパイプラインが有力であった LLMの出力を比較的高い

                                                                    Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成 - 端の知識の備忘録
                                                                  • GeForce RTX 4060 TiとRTX 3060 Tiを50のゲームで性能比較した結果が登場。売れない理由が分かる結果に。


                                                                    GPUNVIDIA GeForce RTX 4000GeForce RTX 4060 TiRTX 3060 Ti50 GeForce RTX 4060 TiRTX 3060 Ti50 2023 7/14 GeForce RTX 4060 TiRTX 3060 Ti50RTX 4060 Ti NVIDIAGeForce RTX 4060 Ti20235RTX 3060 TiCUDA14352VRAM8GB128-bit
                                                                      GeForce RTX 4060 TiとRTX 3060 Tiを50のゲームで性能比較した結果が登場。売れない理由が分かる結果に。
                                                                    • PlayStation 5とXbox Series XとNintendo Switchのスペックを比較してみるとこんな感じ

                                                                      Microsoftが2020年3月16日に最新ゲーム機「Xbox Series X」の詳細なスペックを公開したのに続き、ソニーが2020年3月19年に次世代機「PlayStation 5(PS5)」の詳細情報を発表しました。これにより、Microsoftとソニーの次世代機の詳細が出そろったので、2017年3月3日に発売された任天堂の据置型ゲーム機「Nintendo Switch」とともに、スペックを比較してみました。 PS5: release date, price, specs and news for the PlayStation 5 | What Hi-Fi? https://www.whathifi.com/advice/ps5-release-date-price-specs-and-news-for-the-playstation-5 Xbox Series X price

                                                                        PlayStation 5とXbox Series XとNintendo Switchのスペックを比較してみるとこんな感じ
                                                                      • Steamで最も人気グラボはNVIDIA GeForce GTX 1650。性能がデフレ

                                                                        Steamのハードウェアサーベイにて人気のグラフィックスカードは長年、GeForce GTX 1060が首位を維持してきましたが、登場から既に6年が経過した事から2019年に発売がされたGeForce GTX 1650が最新のハードウェアサーベイにてシェア1位を獲得したようです。 NVIDIA GeForce GTX 1650がシェア6.27%を獲得。GTX 1060を0.5%上回る Steamでは毎月1回の頻度で市場で使われている大まかなPC構成を集計したハードウェアサーベイを発表していますが、2022年11月に集計されたSteamハードウェアサーベイによるとSteamを導入しているPCで最も導入されているグラフィックカードにNVIDIAのGeForce GTX 1650が初めて1位を獲得しました。 このSteamハードウェアサーベイでは2017年8月分の集計からグラフィックカード固有の

                                                                          Steamで最も人気グラボはNVIDIA GeForce GTX 1650。性能がデフレ
                                                                        • rinna社が日本語特化の対話GPT言語モデルを公開! VRAM6GBあれば動くかも。|はまち

                                                                          rinna社から、日本語に特化した強化学習済みの「対話GPT言語モデル:rinna/japanese-gpt-neox-3.6b-instruction-ppo」をオープンソースで公開したとの大ニュースがありましたので、早速ためしてみます!😀 無料のGoogle Colabで動くお試し用の簡易プログラムも作ってみましたので、ぜひお試しください。 1.モデル特徴(プレス文から)36億パラメータ(3.6B)を持つ汎用GPT言語モデルをベースに、対話GPT言語モデルへのfine-tuningと強化学習を行っています。 強化学習には、HH-RLHFの一部を日本語に翻訳したデータを用いています。 強化学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されています。 特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context

                                                                            rinna社が日本語特化の対話GPT言語モデルを公開! VRAM6GBあれば動くかも。|はまち
                                                                          • 2020年5月22日号 WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム | gihyo.jp

                                                                            Ubuntu Weekly Topics 2020年5月22日号WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム Microsoft Build 2020において、WSLに関わるいくつかの新機能がお披露目されました。 Windows 10 2020 May Update(あるいは「Windows 10 Ver.2004⁠」⁠)におけるWSL2の紹介や、WSL2用のLinux Kernelの話題だけかと思いきや、多くの「隠し球」が提供される展開となっています。発表されたものを順不同に見ていきましょう。 まず、もっとも大きな発表が『WSL2向けのDirectX』の発表です。テクノロジースタックとしてはこれは、以下のものから構成されています。 WDDMドライバで動作するGPUを、Linuxゲストに対

                                                                              2020年5月22日号 WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム | gihyo.jp
                                                                            • 1万いいね超—AI BunCho『AIに手伝ってもらったら物語が創れた件』書籍化

                                                                              このプロジェクトは、2022-09-01に募集を開始し、171人の支援により1,882,700円の資金を集め、2022-11-18に募集を終了しました 「タイトル生成」機能がTwitterで大反響をいただいたAI BunChoを用いた書籍化企画! AI BunChoを用いて書いた作品とノウハウをまとめた本『AIに手伝ってもらったら物語が創れた件』を出版します! この本でAIが実際に小説や漫画などの創作に役立つということを、世の中に訴えたい! AI BunChoはAIが 物語のタイトルやプロットを提案したり 本文を生成する創作支援アプリです AIを用いて物語を作る ——そんなことできるの!? できるんです! そう、AI BunChoならね でも、使うにはちょっとコツが必要で—— 今回はそんなノウハウを 実際の作品と共に解説した本 『AIに手伝ってもらったら物語が作れた件』 書籍化企画です!!

                                                                                1万いいね超—AI BunCho『AIに手伝ってもらったら物語が創れた件』書籍化
                                                                              • インターンシップでマルチA100 GPUサーバをぶん回してみた - NTT Communications Engineers' Blog

                                                                                はじめに 2月14日から25日までの2週間、NTTコミュニケーションズのインターンシップに参加させていただいた八木です。普段は大学院で画像処理の高速化に関する研究をしています。インターンシップでは技術コースのうち「AI/MLシステムとの統合を志向した、メディアAI技術の研究開発」ポストに応募しました。全日リモートでの参加で、joinしたチームのマルチA100 GPUサーバなどを用いて画像認識モデルを学習し、NTT Com で独自に構築しているデータセットでその性能評価をしました。この記事では、その体験談を記載します。 インターンシップまでの経緯 就活イベントで NTT Com の紹介を聞いたのですが、そこで色々と説明してくださった社員の方からメディアAI技術開発チームを紹介してもらい、後日今回のメンターさんらと懇談していただきました。その際、チームの紹介を受け興味を持ち、このインターンシッ

                                                                                  インターンシップでマルチA100 GPUサーバをぶん回してみた - NTT Communications Engineers' Blog
                                                                                • Jetson NanoでオリジナルYOLOを動かす - Qiita

                                                                                  この記事でやること この記事ではcolab上で生成したweightsを用いて、Jetsonで走らせるところまでやります。 YOLOのオリジナルモデルの作成方法については過去の記事を参考にしてください。 https://qiita.com/tayutayufk/items/4e5e35822edc5fda60ca https://qiita.com/tayutayufk/items/4dba4087e6f06fec338b Jetson Nanoの用意 前提としてJetsonにはJetCardをインストールしておいてください。 最初にOpenCVのダウンロードから行っていきます。 https://qiita.com/usk81/items/98e54e2463e9d8a11415 このサイトを参考に導入してください。 自分は/home/"ユーザーネーム"/Lib/以下にクローン&ビルドしまし

                                                                                    Jetson NanoでオリジナルYOLOを動かす - Qiita