Auto Oshaberi：口を使ってしゃべるAI！VRChatのML集会で発表された革新的な技術

※以下文章はスライド資料を元に自動生成されたものです。

発表内容のハイライト

VRChatのML集会で発表されたGesonAnkoさんの「Auto Oshaberi」は、人間の喉を波形生成装置と捉え、AIで制御することで、あらゆる音を口で発話させる技術です。オートエンコーダーと世界モデルという機械学習の技術を組み合わせることで、音声の模倣や、さらにはボイスチェンジャー、歌声合成など、幅広い応用が期待できます。今回は、この革新的な技術のコンセプトについて詳しく解説します！

オートエンコーダーと世界モデルで「口」を制御

オートエンコーダー：情報の変換と圧縮

Auto Oshaberiは、オートエンコーダーという機械学習の技術を基盤としています。オートエンコーダーは、入力された情報を圧縮し、再度元の形に戻すことで、データの特徴を抽出する仕組みです。

例えば、画像を入力すると、オートエンコーダーは画像の特徴を捉えた潜在変数（潜在空間）に変換し、そこから再び画像を生成します。Auto Oshaberiでは、この仕組みを音声に応用し、波形をスペクトログラムに変換したり、言語に変換したりすることで、音声を操作することを目指しています。

世界モデル：仮想的な世界を構築

オートエンコーダーだけでは、人間の喉のような複雑なシステムを制御するのは難しいです。そこで、Auto Oshaberiでは、世界モデルという技術も活用しています。世界モデルは、現実世界を模倣した仮想的な環境を構築し、その中でAIエージェントを動かすことで、学習を促進する技術です。

Auto Oshaberiでは、喉の状態や発声器官の動き、そして周囲の環境などを考慮した世界モデルを構築し、AIが喉を操作して音声を生成する過程をシミュレートします。これにより、AIは発声器官の動きと音声の関係性を理解し、より自然な発声を学習できるようになります。

口を使って音声を模倣する技術

音声模倣の仕組み

Auto Oshaberiでは、ターゲットとなる音声をAIに学習させ、その音声を模倣するモデルを構築します。具体的には、以下のステップで学習が行われます。

1. ターゲット音声をコントローラーに入力：AIに学習させたい音声をコントローラーに入力します。
2. コントローラーが世界モデルを介して喉を操作：コントローラーは、世界モデルを介して喉の筋肉や発声器官を操作し、音声を生成します。
3. 生成音声とターゲット音声の誤差を最小化：生成された音声とターゲット音声の誤差を計算し、その誤差を最小化するようにコントローラーを学習させます。

この過程を繰り返すことで、AIはターゲットの音声を模倣できるようになります。

実験の課題と今後の展望

Auto Oshaberiはまだ開発途上の技術であり、いくつかの課題も存在します。例えば、世界モデルの学習が難しかったり、コントローラーが音声を生成する際に無音を選択してしまう場合があったりします。

しかし、GesonAnkoさんはこれらの課題を克服するために、世界モデルの構造や誤差関数の改良など、様々な改善策に取り組んでいます。将来的には、あらゆる音を口で模倣できるようになることを目指しています。

例えば、楽器の音色や動物の鳴き声、さらには自然の音などを、人間の口で再現できるようになるかもしれません。

まとめ

Auto Oshaberiは、オートエンコーダーと世界モデルを用いて、人間の喉を制御し、あらゆる音を口で発話させることを目指す革新的な技術です。まだ開発途上ではありますが、その応用範囲は広く、ボイスチェンジャー、歌声合成、対話エージェントなど、様々な分野で活用される可能性を秘めています。今後の開発に期待しましょう！

Auto Oshaberi発表資料スライド

免責事項：

本記事は、GesonAnkoさんの発表内容を元に作成されたものであり、その内容の正確性や有効性を保証するものではありません。

ML集会の他の発表もチェック！