hecomiのブックマーク - はてなブックマーク

uLipSync で Timeline の軽量化オプションを追加しました - 凹みTips

はじめに Twitter で利用者の声を見ていたところ、Timeline に uLipSync の BakedData を配置した際に Unity が重くなったりフリーズしたりする、というものをちらほら見かけました。こちらはおそらく内部的にテクスチャ生成処理を走らせたりしている波形描画のところと思われるため、これをオフにするオプションを今回追加しました。ダウンロード github.com 使い方 Unity > Settings... から Preference を開くと、uLipSync の項目が追加されています。ここで Display Waveform On Timeline をオフにすると、Timeline 上で波形描画がスキップされて表示されなくなります。おわりに現状は今回の項目しかありませんが、適宜エディタの設定などはここに追加していこうと思います。

hecomi 2024/06/29

Unity

リンク

A.I.VOICE for GAMES 向けの uLipSync の更新 - 凹みTips

はじめに前回の記事で A.I.VOICE for GAMES の uLipSync 連携機能の紹介を行いました。 tips.hecomi.com 一つだけ対応していなかったのが細かいところですが、連携機能で生成した Baked Data において Profile がセットされていないという Warning（Please set Profile）が出てしまう点でした。ここを修正して Warning が出ないようにしました。修正方法メモ A.I.VOICE for GAMES はローカルの Package としてインストールする方法となっていますので、Version Defines が利用可能です（.unitypackage だと利用不可ですが、Package であれば可能なようです）。 tips.hecomi.com { "name": "uLipSync.Editor", ... "

hecomi 2024/05/31

リンク

A.I.VOICE for GAMES に uLipSync 連携機能が追加されました - 凹みTips

はじめにこのたび、株式会社エーアイ様の提供する A.I.VOICE for GAMES に uLipSync 連携の機能を追加いただきました！【A.I.VOICE for GAMES バージョンアップ情報】 uLipSync連携による口パク情報の出力機能を追加しました。その他バージョンアップ情報についてはお知らせをご確認ください。https://t.co/ujpzHqkTEP#アイボス— A.I.VOICE公式 (@AIVOICE_PR) 2024年4月25日本記事では、実際に使用してる流れや仕組みの解説を行いたいと思います。デモセリフやパラメタを入力して Apply すると、自動的に AudioClip とともにリップシンクデータ（Baked Data）が生成されるため、これを uLipSync へセットすることでリップシンクが実現できます。A.I.VOICE を導入していな

hecomi 2024/05/31

リンク

uLipSync のバグ修正・更新についての解説 - 凹みTips

はじめに uLipSync 周りの不具合修正を行いましたので報告となります。1つ目の issue では WebGL ビルド時に次の2点が問題として報告されていました。 WebGL ビルドでリップシンクが遅れる WebGL ビルドで AudioClip 再生後に口が開いたままになる github.com また、別の issue では BlendShapeの値についての報告がされていました。現在 0 ~ 100 の値で BlendShapeが計算されるが、0 ~ 1 の値で設計されたアバターにも適用したい github.com 上記3点について解説します。ダウンロード最新版は以下になります。 github.com WebGL ビルドでリップシンクが遅れるこちらはリリース記事の﹁タイミング調整﹂の項でサラッ書きましたが、Audio Sync Offset Time を利用す

hecomi 2024/03/30

ブログ書いた

Unity

リンク

uLipSync x WebGL における再生方法の制限について - 凹みTips

はじめに先日、uLipSync の WebGL ビルドでランタイム生成した際、音声は再生されるもののリップシンクしない、という報告を受けて調査をしてみました。 tips.hecomi.com 原因解説原因としては AudioSource.PlayOneShot() の利用でした。こちらを詳しく解説していきます。非 WebGL 向けビルドでは、MonoBehaviour.OnAudioFilterRead() や AudioSource.GetOutputData() といった API を通じて、そのタイミングで再生している音のバッファを取得することが出来ます。しかしながら、これらは一つ前の記事で触れましたが Unity のサウンド周りの仕組み及び WebGL の制約により使用することが出来ません。代わりに、WebGL ビルドでは、データから直接バッファ取得可能な AudioClip.

hecomi 2024/02/18

罠でした

Unity

リンク

Unity の WebGL ビルドでマイク入力を扱えるライブラリを作ってみた - 凹みTips

はじめに Unity には Microphone というクラスがあり、これを通じてマイクの情報や入力を取得できます。しかしながら Microphone は WebGL では利用することが出来ません。 docs.unity3d.com Unity では FMOD をオーディオ周りとして利用しているようで、基本的にスレッド上で動くためスレッドが︵部分的にしか︶利用できない WebGL とは相性がよくなく、結果的に Web Audio API をベースに自前で実装する、という選択をしたようです。その上で多くのオーディオ系 API は再実装されたものの、幾つか Web Audio API との相性が良くないものは利用不可、となっているようです。そして Microphone はごっそり﹁不対応﹂となったようですね。私は uLipSync というリップシンクのためのライブラリを作っていまして、この中

hecomi 2024/01/28

Unity
WebGL

リンク

https://forum.unity.com/threads/return-a-float-double-array-from-jslib-to-unity.1115686/

hecomi 2023/12/31

Unity

リンク

uLipSync の WebGL 対応をしてみた - 凹みTips

はじめに前回調査記事を書きました。 tips.hecomi.com 今回は続きで、調査を元に実際に WebGL のサポートを行いました（マイクサポートのみまた後日）。実装しながら気づいたことや、問題に対してどのように対応したかなどについてまとめましたのでご紹介します。ダウンロード github.com 実験と問題解決前回は WebGL では解析の入口となっていたオーディオバッファを取得できる OnAudioFilterRead() が動作しないことから、代替手段として Web Audio API からバッファをもらってくる方式と AudioClip.GetData() によって取ってくる方式のメリット・デメリットを比較しました。前回の記事の結論としては、汎用性とコード変更性の少なさから AudioClip.GetData() を選択することにした、というものでした。それではまずはシ

hecomi 2023/12/30

思ったより大変でした

Unity
WebGL

リンク

uLipSync の WebGL 対応を調査してみた - 凹みTips

はじめに過去に何度かリクエストを頂いているのですが、まだ uLipSync で対応していないことの一つに WebGL 対応があります。WebGL ではいくつかの機能が制限されており、そのまま使えない機能が多々あります。例えば現在解析に用いている OnAudioFilterRead コールバックは WebGL では利用できませんし、他にもマイクも同様に使用できません。 tips.hecomi.com こういった制約の関係で uLipSync は WebGL では現在動作しない形になっています。ただ、うえぞうさんがオーディオ再生側に関しては動作するような仕組みを作成して下さっています︵ちょうど Unity 2021 以降でも動作する v0.3 がリリースされました︶。 github.com 今回はマイク含め包括的にサポートを行うために、現状の問題点と使用できそうな技術調査を行います。公式ド

hecomi 2023/11/30

リンク

uLipSync の VRM モデル向けリップシンクアニメーションベイクについて - 凹みTips

はじめに id:bibinbaleo さんのブログで uLipSync を試してみていただいており、その中で VRMモデルのアニメーション書き出しについての記述がありましたので補足解説させていただきます。 bibinbaleo.hatena blog.com uLipSync についてはこちら。 github.com アニメーション書き出しについてトマシープさんの記事では uLipSyncBlendShapeVRMを試されていらっしゃいましたが、現状、uLipSync のアニメーション書き出しは残念ながら uLipSyncBlendShapeのみとなっています。VRM 0.X では VRMBlendShapeProxy というコンポーネントを介して、VRM 1.0 では Expression という仕組みを介してブレンドシェイプを扱っています。uLipSync ではこれらの仕組みを利

hecomi 2023/10/30

Unity

リンク

uLipSync で解析結果を使ったカスタム挙動を作るためのチュートリアル - 凹みTips

はじめに uLipSync では AudioClip やマイクから得た音声を解析するモジュールと、その解析結果を受け取りリップシンクを動作させるためのコンポーネントが分かれています。 github.com この解析結果を受け取る部分を自作することで色々と遊ぶことができるので、本記事ではそのやり方をご紹介します。導入いくつか方法はありますが、Package Manager から次の URL を Add package from git URL... するのが簡単だと思います。 https://github.com/hecomi/uLipSync.git#upm 直接 .unitypackage を導入する場合は Package Manager から Unity.Mathematics や Unity.Burst の導入を忘れずにおこなって下さい。その他基本的な概念や機能説明は、必要に応じ

hecomi 2023/09/30

リンク

Unity でボリュームレンダリングをしてみる - vol.6 ボリュームの内部 - 凹みTips

はじめにこれまでいくつかボリュームレンダリングの記事を書いてきました。以下は前回の記事です。 tips.hecomi.com これまではキューブポリゴンを描画範囲として 3D テクスチャのボリュームレンダリングを行っていましたが、これだとポリゴンの内部にカメラが入り込んだときにカリングされてしまいます。今回は内部にカメラが入っても継続して描画できるようにするには、どのように修正を加えればよいかの解説を行います。リポジトリ github.com 10. Inside Volume が今回の内容になります。原因と対策先程も触れましたが、カメラがポリゴンの内部に入り込むと、ポリゴンは描画されません。正確には、カメラのニアクリップがオブジェクトの内部に入り込むと…、なので下図のようになります。図の赤い部分のポリゴンが表示されなくなる感じです。解決策としては、Cull Off にしてポリ

hecomi 2023/08/27

リンク

Unity の Version Defines と.unitypackage インポートについて - 凹みTips

はじめに先日、uLipSync v3.0.2 をリリースし、asmdef の Version Defines を利用した VRM 0.X / 1.0 のパッケージのインポート状況に応じた VRM 向けコンポーネントのエラー抑制を行いました。 tips.hecomi.com ただこちら、.unitypackage 経由でインポートした際にうまく動かない、という報告をいただき調査してみました。原因 Version Defines はパッケージのインポート状況に応じてシンボルを定義できる仕組みです。パッケージはバージョン指定も可能で、またパッケージだけではなく Unity のバージョン指定も出来ます。 docs.unity3d.com ただ、.unitypackage 経由でインストールした際、Version Defines で指定する Resource がインポートされた状態として扱われず

hecomi 2023/07/30

Unity

リンク

Unity でエディタ拡張向けの重い画像生成の改善をしてみた - 凹みTips

はじめに大分ニッチな話だと思うのですが、現在メンテしているプロジェクトで音声の解析結果を示すために画像生成を行い、それをエディタ拡張で表示して見せています。これは Burst と Job を使って生成しているのですが、エディタ拡張の UIの体系は同期処理となるため、現状では Job を即時実行・回収することで、同期処理系となってしまっています。 tips.hecomi.com 今回はここを何とかしようと試みたお話を共有します。内容はテクスチャ生成ですが、それ以外にも重い処理を行うようなエディタ拡張のヒントになるかと思います。コードと問題点具体的に以下のようなコードを想定してみましょう。 AsyncTextureCreator.cs using UnityEngine; public class AsyncTextureCreator : MonoBehaviour {publi

hecomi 2023/06/29

Unity

リンク

Apple Vision Pro「やばい」。掛け値なしに驚きの体験、実機レポート【西田宗千佳のRandomTracking】

hecomi 2023/06/07

リンク

uLipSync の不具合修正（VRM / .NET Standard 2.0 関連）をしました - 凹みTips

はじめに先日 v3.0.0 をリリースした uLipSync ですが、いくつか不具合修正が来ていたため修正しました。 tips.hecomi.com VRM パッケージを読み込んでいない際にエラーが出る VRM パッケージを両方（VRM 0.X / VRM 1.0）読み込まないとならない Unity 2019 でエラーが出る古い Timeline アセットを読み込んでいる際にエラーが出る本エントリでは修正についてのメモと、ついでなので改めて VRM でのセットアップ方法について解説を行いたいと思います。最新リリース github.com VRM のセットアップ方法 uLipSync のインポート uLipSync のインポートの方法は 3 種類ありますが、お手軽なのは git URL かな？と思います（個人的なオススメは Scoped Registry 登録ですが）。VRM 関連の

hecomi 2023/05/30

リンク

uLipSync v3.0.0 をリリースしました - 凹みTips

はじめに Unity でキャラクタのリップシンクを行うことのできる uLipSync v3.0.0 をリリースしました。 github.com 本エントリではアップデートの内容について解説していきます。 MFCC の計算方法修正一番大きなアップデートは MFCC の計算方法の改善です。これに関しては前回のブログ記事で解説しました。 tips.hecomi.com 端的に言うと、これまでの MFCC は計算方法が間違っていたため、正しくなるよう世の中一般のライブラリによる値と比較しながら修正を行った、という形です。ただし精度が劇的に上がった、というわけではありませんでした。。以前もそれっぽい特徴量を得られており判別は出来ていたようです。また、これまでは12個ある MFCC の比較は各係数の差分の絶対値を足した L1 距離︵マンハッタン距離︶のみでしたが、新たに Profile で指定

hecomi 2023/04/29

書きました

リンク

uLipSync のアルゴリズム改善を行ってみた - 凹みTips

はじめにずっとやろうと思っていた Unity でリップシンクを実現するアセットである uLipSync のアルゴリズムの改善を行いました。 github.com uLipSyncでは、MFCC︵Mel Frequency Cepstral Coefficients︶と呼ばれる特徴量を計算しています。MFCC を利用することで音声信号から音素の違い︵母音や子音など︶や楽器の音色の違いを区別することができ、音声認識や音楽情報検索など、様々な音声・音楽処理タスクで広く利用されています。Python 環境では Librosaなどのライブラリを使って MFCC は簡単に計算することが出来ます。一方 uLipSync では、Unity 内でネイティブプラグインなどに頼らずJobSystem + Burst コンパイラの助けを借りて高速に処理したいコンセプトがある関係上、こういったライブラリに頼

hecomi 2023/03/31

リンク

ChatGPT plugins

We’ve implemented initial support for plugins in ChatGPT. Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services. In line with our iterative deployment philosophy, we are gradually rolling out plugins in ChatGPT so we can study their real-world use, impact, and safety