脳波でアバターを操る！VRChatと脳波測定器を連携させるまでの道のり
詳細情報
発表のハイライト
- Spisさんが、VRChatと脳波測定器を連携させるシステムを個人開発。
- OpenBCIのDIYキットを用いた脳波測定器や、Pythonで実装した連携アプリなどを制作。
- VRChatで脳波でアバターを操作する様子を体験できる専用ワールドも公開。
- 今後の課題として、脳波測定器の精度向上や、より安価なBCIの導入などが挙げられている。
脳波とは？
そもそも何ができるの？
「脳波」という言葉は聞いたことがあるけど、具体的にどんなものかご存知ですか？
簡単に言うと、脳の活動を電気信号として捉えたものです。
脳波測定器（脳波計）を使って、頭皮に電極を貼り付けることで、脳内の電気的な活動を測定することができます。
脳波は、脳の様々な状態を反映しているため、医療現場では病気の診断などに用いられています。
例えば、リラックスしている状態、集中している状態、眠っている状態など、それぞれ異なる波形のパターンを示します。
Spisさんは、この脳波をVRChatでアバターを操作することに活用したのです！
脳波測定の基礎知識
脳波を測定する際には、電極の位置や参照電位の有無、測定環境など、様々な要素を考慮する必要があります。
例えば、電極の位置は「国際10-20法」と呼ばれる基準を用いることが一般的です。
また、外部ノイズの影響を受けないように、測定環境も重要です。
さらに、脳波を誘発する様々な方法があり、その反応を測定することで、より詳細な脳の活動を把握することができます。
例えば、特定の刺激を与えて、それに伴う脳波の変化を調べる「事象関連電位」や、脳の基礎的なリズムを調べる「基礎律動」などがあります。
VRChatと脳波測定器を連携させるシステム
Spisさんは、VRChatと脳波測定器を連携させるシステムを開発しました。
具体的には、脳波測定器、連携用のアプリ、対応アバター、そして専用ワールドなどを制作しています。
脳波測定器の自作
Spisさんは、OpenBCI社のDIYキットを利用して脳波測定器を自作しました。
OpenBCIは、オープンソースの脳波測定器で、比較的安価に自作できることが魅力です。
自作することで、自分だけのオリジナルの脳波測定器を作ることができるという点も魅力的ですね！
連携アプリの開発
脳波測定器とVRChatを連携させるためのアプリは、Python言語で開発されました。
脳波測定器から取得した生データを加工し、OSC（Open Sound Control）やMIDI（Musical Instrument Digital Interface）経由でVRChatに制御信号を送信します。
OSCやMIDIは、コンピュータ間の通信に用いられるプロトコルです。
VRChatのアバター制御
Spisさんが制作したアバターは、脳波で操作できるように設計されています。
VRChat SDKの制約がある中で、OSC通信を用いてアバターのアニメーションを制御することに成功しました。
Spisさんが制作したアバターは、まるでSF映画のような未来的なデザインで、ロボットアームが特徴的です。
専用ワールドで脳波技術を体験
Spisさんは、VRChatの脳波技術を体験できる専用ワールドも作成しました。
このワールドでは、脳波でアバターを操作したり、他のユーザーと交流したりすることができます。
脳波技術に興味のある方は、ぜひSpisさんのワールドに足を運んでみてください。
開発で得られた知見と今後の展望
Spisさんは、このシステムを開発する過程で、脳波処理やPython、Unity、OSCなど、幅広い技術を習得しました。
また、VRChat SDKの制約や、脳波測定の難しさなども経験しました。
今後の課題
Spisさんは、今後の課題として、脳波測定器の精度の向上や、より安価なBCIの導入などを挙げています。
また、より多くのコンテンツを作成し、VRChatで脳波技術がもっと普及していくことを目指しています。
まとめ
Spisさんは、VRChatと脳波測定器を連携させることで、脳波でアバターを操作できるシステムを開発しました。
Spisさんの挑戦は、VRと脳波技術を組み合わせることで、新たな可能性を拓くものです。
今後の発展に期待しましょう！
個人開発集会の他の発表もチェック！
個人開発集会の開催情報・参加方法
個人開発集会
開催日: 2023年08月17日
開催時間: 21:00 - 22:00
開催曜日: 木曜日開催周期: 隔週(グループA)
個人開発にまつわる話でワイワイする集会です。 個人開発をやっている方も初めてみたい方も大歓迎！ 企画・技術・マーケティング・保守・運用など 技術的なことに限らない幅広い分野を想定しています。 個人開発に興味がある方はぜひ遊びに来てください！