生成AIと3Dプリンターで、VRChatのアバターをフィギュア化！そむにうむさんの挑戦
詳細情報
※以下文章はスライド資料を元に自動生成されたものです。
発表のハイライト
- 独自開発のボクセル変換技術で、VRMファイルからフィギュアを自動生成。
- 10年の歳月をかけて、変換処理時間を3日間から10分以下に短縮。
- アプリ「AvatarStation」で、アバターのポーズや表情を調整してフィギュア化可能。
- 生成AIとTripoAIを活用し、一枚絵からフィギュアを作成することに成功。
- 今後、生成AIを活用したアバター作成機能や関連サービスを開発予定。
VRChatのアバターを、3Dプリンターでフィギュア化！
VRChatで活躍する個性的なアバターたち。もし、そのアバターを自分だけのオリジナルフィギュアとして手元に置いておけたら、嬉しいですよね？
2024年2月14日にVRChatの「ML集会」で行われた、そむにうむ＠森山さんの発表では、そんな夢を現実にする技術が紹介されました。そむにうむさんは、なんとVRMファイルからフィギュアを自動生成するアプリ「AvatarStation」を開発し、生成AIを用いて一枚絵からフィギュアを作成することに成功したのです！
独自技術「ボクセル変換」で、アバターをフィギュアに！
そむにうむさんが開発した「AvatarStation」は、VRMファイルを読み込み、アバターのポーズや表情を調整することで、3Dプリンターで出力できるデータに変換するアプリです。
この変換には、そむにうむさんが独自に開発した「ボクセル変換」という技術が使われています。ボクセル変換は、CTスキャンを3DCGモデルにかけたようなもので、3Dモデルを多数の立方体（ボクセル）に分割して、その断面を再構成することで3Dプリンターで出力可能なデータに変換する技術です。
この技術は10年もの歳月をかけて開発され、変換処理時間が3日間から10分以下にまで短縮されました。これにより、誰でも簡単にアバターをフィギュア化できるようになりました。
「AvatarStation」でフィギュア化！手順を紹介
「AvatarStation」では、VRMファイルを読み込み、以下の手順でフィギュア化できます。
- アバターのポーズ変更：TRANS&ROTATE機能で、アバターのポーズを変更します。
- アバターの表情変更：Pose Select機能で、アバターの表情を変更します。
- アバターのフィギュア化：Figurizer機能で、アバターをボクセル断面画像に変換します。
- フィギュア出力：変換されたPNGファイルをZip保存して出力発注すると、透明レジンに包まれた5cmのフィギュアが送られてきます。
生成AIとTripoAIで、一枚絵からフィギュアも作成！
そむにうむさんは、さらに生成AIとTripoAIを活用することで、一枚絵からフィギュアを作成することに成功しました。
生成AIで作成した画像を、TripoAIで裏面まで自動で3Dモデルに変換し、フルカラー3Dプリンターで出力することで、フィギュアを作成しているのです。
TripoAIでは、TGS（Triplane meets Gaussian Splatting）という技術が使われており、複数の視点の画像をポイントクラウドに変換し、機械学習によって3Dモデルデータを生成します。
メタバースと現実世界をつなぐ、「生成AIフィギュア化計画」
フィギュアが作れるということは、アバターも作成できる可能性があるということです。
そむにうむさんは、生成AIをメタバースで利用可能にする「生成AIフィギュア化計画」を立ち上げ、今後、生成AIを活用したアバター作成機能や、作成したアバターに様々な付加価値をもたらすサービスを開発していくことを宣言しました。
まとめ
そむにうむ＠森山さんが開発した「AvatarStation」は、VRChatのアバターをフィギュア化する画期的なアプリです。独自開発のボクセル変換技術と、生成AIの活用により、誰でも簡単に自分だけのオリジナルフィギュアを作成できるようになりました。
メタバースと現実世界を繋ぐ、そむにうむさんの「生成AIフィギュア化計画」は、今後、メタバースの進化に大きく貢献する可能性を秘めています。今後の展開に期待しましょう！