3Dカメラでロボットが目覚める！点群データでモノを掴む驚きの技術とは？
詳細情報
| 日時 | 2026年07月16日 21:30 - 21:45 |
|---|---|
| テーマ | 3Dスキャンを使ってロボットを動かしてみた話 |
| 発表者 | sezaki_aoiさん |
| 集会名 | 組み込みエンジニア集会 |
| 発表資料 | ファイル |
2026年7月16日、VRChatの「組み込みエンジニア集会」にて、sezaki_aoiさんによる驚きの発表が行われました！
テーマは「3Dカメラとロボットで遊んでみた話」。
私たちの身の回りにある「モノ」を、ロボットがまるで人間のように認識して掴み上げる、そんな未来を感じさせる技術の裏側を、初心者の方にも分かりやすくお届けします。
最新のテクノロジーが、いかに直感的で楽しいものに進化しているのか、一緒に覗いてみましょう！
3Dカメラがロボットの「目」になる瞬間
皆さんは、ロボットに何かを掴ませようとしたとき、どんな方法を思い浮かべますか？
これまでは「あらかじめ決まった場所に置く」か、膨大な画像データを学習させて「これはリンゴだ」と認識させるのが一般的でした。
でも、sezaki_aoiさんが挑戦したのは、もっと自由で直感的な方法です。
そこで活躍するのが「3Dカメラ」という魔法の道具。
今回使用されたのは「Intel RealSense D405」という、手のひらサイズの高性能なカメラです。
このカメラのすごいところは、2つのレンズの視差を利用して、モノとの距離を正確に測れること。
普通の写真が「平面」なら、3Dカメラが撮るのは「奥行きのある点の集まり」なんです。
これを「点群（ポイントクラウド）」と呼びます。
この点群データを使えば、事前の学習なしでも、モノがどこにあって、どんな形をしているのかをロボットが瞬時に理解できるようになるんですよ。
膨大なデータから「宝物」を見つけ出す工夫
3Dカメラが捉えるデータは、実はものすごい量なんです。
1秒間に1000万点以上のデータが送られてくることもあり、そのままではコンピューターがパンクしてしまいます。
そこで、sezaki_aoiさんは賢い「引き算」のテクニックを披露してくれました。
まず、ロボットが動く範囲以外の遠くのデータは、距離フィルターでバッサリと切り捨てます。
次に、細かすぎる点を「1cmの格子」ごとにまとめて平均化し、データの量を38万点から6000点へと、なんと約60分の1までスリム化させました。
さらに面白いのが、ノイズの消し方です。
3Dカメラの映像には、砂嵐のようなノイズが混じることがありますが、これはランダムに現れては消える性質を持っています。
一方で、本物のモノは同じ場所にずっと存在し続けますよね。
この「時間の連続性」を利用して、一瞬だけ現れるノイズを賢く取り除いているそうです。
まるで、雑踏の中から大切な人の声だけを聞き分けるような、鮮やかな処理ですね！
床を消して「モノ」だけを浮かび上がらせる
ロボットがモノを掴むためには、机や床といった「背景」と「掴みたいモノ」を区別しなければなりません。
ここで使われたのが、数学的な知恵を活かした「床取り除き」の技術です。
点群の中からランダムに3つの点を選び、そこを通る平面を計算します。
もしその平面が床や机と一致するなら、その上の点はすべて消してしまいます。
すると、あら不思議！
机の上に置かれたモノだけが、空間にポツンと浮かび上がって見えるようになるんです。
あとは、近くにある点同士をグループ分けしていけば、ロボットにとっての「掴むべきターゲット」が完成します。
sezaki_aoiさんは、このプロセスを「直感的に調整できる」と語っています。
難しいプログラムを書き換えるのではなく、点群の様子を見ながら「ここから下を消そう」と調整できるのが、この手法の最大の魅力なんです。
ロボットが実際に動く！感動のフィナーレ
準備が整ったら、いよいよロボットの出番です。
計算された座標データがロボットに送られ、アームがゆっくりと動き出します。
モノの位置と向きを調整し、先端の爪を閉じて、しっかりと掴み上げる。
そして、指定された場所まで運んでいく。
スライドで紹介された一連の動作は、まさにテクノロジーが現実の世界に干渉する感動的な瞬間でした。
sezaki_aoiさんによると、この方法の素晴らしい点は「現場との相性の良さ」だそうです。
扱うモノの形が変わっても、学習データを一から作り直す必要はありません。
点群を見ながらパラメータを少し調整するだけで、多種多様なモノに対応できるのです。
「もっとこの技術が広まってほしい」という言葉には、技術を楽しむエンジニアとしての純粋な願いが込められていました。
私たちの未来を広げる点群データの可能性
今回の発表を聞いて、3Dカメラとロボットの組み合わせが、いかに身近で可能性に満ちたものかを実感しました。
VRChatというバーチャルな空間で、現実世界のロボットを動かす技術が語られる。
この境界のないコミュニティの熱量こそが、新しい技術を育む土壌になっているのだと感じます。
sezaki_aoiさんのような若いエンジニアが、試行錯誤を楽しみながら形にしていく姿は、私たちに大きな刺激を与えてくれますね。
「難しそう」と思っていたロボット制御が、点群という視覚的なデータを使うことで、ぐっと身近に感じられるようになったのではないでしょうか。
これからも、組み込みエンジニア集会から生まれるワクワクするような挑戦に、目が離せません！
皆さんも、身近なモノを3Dで捉えて動かしてみる、そんな未来を想像してみませんか？
