[B! onnx] stealthinuのブックマーク

ONNX Runtimeでプロファイルを取ってみる - Qiita

Rasperry Pi 4のCPUでDeep Learningを高速化の続きです。 Deep Learningを高速化するためには、どの処理がどれくらいの時間を消費しているかを調査して、実際の処理時間を削減していく必要があります。そのため、まずはONNX Runtimeのプロファイル機能を使用してプロファイリングを行います。プロファイル機能を有効にする方法はONNX公式チュートリアルに記載されています。 import onnxruntime options = onnxruntime.SessionOptions() options.enable_profiling = True # <- プロファイル機能有効化 session = onnxruntime.InferenceSession(path_to_model, options) [プロファイル対象] prof_file = se

stealthinu 2023/03/16

ONNXがなんで遅いのか調べるためにプロファイル取る方法。optionsにenable_profiling指定して終了するときにend_profilingするだけ。めちゃ便利だった。 ●onnx ●deeplearning

リンク

ONNXモデルのチューニングテクニック (応用編２)

サイバーエージェント AILab の Human Computer Interaction Team に所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。今回は応用編2です。 8. 各種トリック PyTorchやTensorFlowを経由して生成されたONNXから他のフレームワークへモデルを転用する場合に有効な様々なトリック、ワークアラウンドをご紹介します。あまり真新しい知見ではありませんが、以下でご紹介するようなトリックが記事としてまとまっているものはあまり見かけませんのでご参考になれば幸いです。エンジニアよりもリサーチャーの方々に是非読んでいただきたい内容です。ほとんどの内容が地味で

stealthinu 2023/03/08

これはすごいありがたい資料だ。というかこれ書かれてるのPINTOさんなんだ。なるほど感しかない。 ●deeplearning ●onnx

リンク

GitHub - PINTO0309/onnx2tf: Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpose of this tool is to solve the massive Transpose extrapolation problem in onnx-tensorflow (onnx-tf). I don't need a Star, but g

Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpose of this tool is to solve the massive Transpose extrapolation probl em in onnx-tensorflow (onnx-tf). I don't need a Star, but give me a pull request. Since I am adding challenging model optimizations and fixing bugs almost daily, I frequently embed potential bugs that would otherwise break through C

stealthinu 2023/03/06

ONNXからTensorFlow/TFLite形式への変換を行うツールで公式のonnx-tensorflowよりもだいぶ性能良いとのこと。

リンク

GitHub - PINTO0309/PINTO_model_zoo: A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML.

Made with contrib.rocks. A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML. TensorFlow Lite, OpenVINO, CoreML, TensorFlow.js, TF-TRT, MediaPipe, ONNX [.tflite, .h5, .pb, saved_model, tfjs, tftrt, mlmodel, .xml/.bin, .onnx] I have been

stealthinu 2023/03/04

各Deeplearningフレームワーク間で使えるようになってるモデルzoo 基本的にはONNXがベースになってると思われる。画像系がメイン。すごい。ありがたい。

リンク

WhisperのモデルをONNXにする - TadaoYamaokaの開発日記

WhisperのモデルをONNXに変換する方法について記述する。 Whisperのモデル WhisperのモデルはPyTorchを使ってPythonで実装されている。そのため、実行にはPyTorchをインストールしたPython環境が必要になる。環境構築なしでスタンドアロンで利用できると用途が広がる。また、アプリへの組み込みも行いやすくなる。 ONNXモデル ONNXは、ニューラルネットワークの標準ファイルフォーマットである。モデルをONNXにすると、ONNX Runtimeなどの推論用のライブラリを使って推論できる。推論用のライブラリは、組み込みで使うことを意図しているので、スタンドアロンのアプリに組み込むことができる。 ONNXへの変換 WhisperのモデルからONNXへの変換は、pytorch.onnxを使って行う。ただし、Whisperは、デコーダのループ処理で、前の

stealthinu 2023/01/28

WhisperのONNX化について結構詳しく説明書かれてる。2のあたりでFFT掛けるところとか同じようなことしてたので参考になった。

リンク

onnxconverter-common/onnxconverter_common/auto_mixed_precision_model_path.py at master · microsoft/onnxconverter-common

stealthinu 2022/12/26

ONNXの内部処理FP16にするコンバータ。だがコンバータでフィルタすれば一発みたいな簡単にはいかない感じらしい。

リンク

音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと

﹁Unreal Engine (UE) Advent Calendar 2022 その3﹂23日目の記事です。はじめに OpenAIの音声認識 AI﹁Whisper﹂がすごいらしい。これをUnreal Engineでリアルタイムに動かせるようにしたら応用範囲が広がっておもしろいんじゃないかと思いました。︵﹁異議あり！﹂って実際に声に出させたいよね︶︵NLPアドベンチャーを音声入力で、みたいな夢も広がる︶しかし、いざやってみたらいろいろな課題にぶつかりました。この記事は、それらをどう解決したかの記録です。目次目標設定‥C++とONNX Runtimeで実装する Whisperの処理の全体感課題と対応課題1‥マイク入力と前処理をC++で実装する課題2‥Whisperの機械学習モデルをONNXにエクスポートする課題3‥ONNXモデルをtransf ormer＆FP16向けに最適化

stealthinu 2022/12/26

WisperをUEで動かすためにONNXに変換したりC++から呼び出せるようにする内容。特にONNXのfp16化が参考になる。がfp16化ってツールでお手軽にって話じゃなかった。なかなか大変。 ●onnx ●deeplearning ●音声

リンク

ONNXモデルのチューニングテクニック (基礎編)

基礎編 / 応用編１ / 応用編２サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認

stealthinu 2022/12/21

ONNXモデルを生成して中身確認したり最適化したりする手法が書かれてる。ONNXの応用的な情報はなかなかなくて非常に参考になる。ブクマし忘れてた。

リンク

TadaoYamaokaの開発日記

ONNX RuntimeでDirectMLを使ってdlshogiのモデルの推論を行い、処理時間を比較してみた。 DirectMLを使えばAMDのGPUでも推論が実行できるようになる。 DirectMLプロバイダの使用 NuGetからビルド済みバイナリが取得できる。 Microsoft.ML.OnnxRuntime.DirectMLをインストールする。 DirectMLプロバイダを使用するにはソースに以下の行を追加する。 #include <dml_provider_factory.h> session_options.Disabl eM emPattern(); session_options.SetExecutionMode(ORT_SEQUENTIAL); OrtSessionOptionsAppendExecutionProvider_DML(session_options, 0); D

stealthinu 2022/12/14

ONNXでDirectMLとGPUとCPUとの速度比較がある。やはりGPU（ここではCUDAではなくTensorRT）のほうが速いがDirectMLだとAMDのGPUとかも動くから速度がそこまでシビアでなければDirectML使ったほうがよさそう。

python
onnx

リンク

Windows - DirectML

stealthinu 2022/12/14

DirectMLのonnxruntimeオプション指定なしだとうまく動かなくてexecution_modeとenable_mem_patternの設定をしてやる必要がある。なぜデフォルトでそうなってないのかはよくわからん。

python
onnx

リンク

onnxruntime-directml

stealthinu 2022/12/14

DirectMLのonnxruntime。マイクロソフト提供。これをonnxruntime-gpuと共存させるにはどうしたらいいのだろう。

python
onnx

リンク

CUDAExecutionProvider Not Available / GPU Not Visible on NVIDIA T4 · Issue #7748 · microsoft/onnxruntime

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert