研究者がOMG(全モーダル運動生成)を導入。これは汎用ヒューマノイドロボット制御のための包括的なフレームワーク。この研究は、ロボティクスにおける根本的な課題に取り組む:複数の入力信号タイプを活用して、自然で全身の運動を生成できる灵活で適応的な制御を可能にすること。
コアアーキテクチャは 生物の運動システムの構造を反映。スケーラブルなブレインモジュールは、自然言語コマンド、オーディオ信号、人間の参照運動を含むマルチモーダル条件入力をサポート。反応性運動追跡小脳モジュールは、生成された運動計画の精密な実行を保証。
研究者は高品質な訓練データを取得するために、慎重に設計されたデータキュレーションとアノテーションパイプラインを開発。拡散ベースの運動生成バックボーンは、条件入力として言語、オーディオ、人間の参照運動をサポート。実験では、OMGが全モーダル全身コントローラーとしてSOTA性能を達成し、良好なモデルスケーリング動作と新しい分布/モダリティへの効率的な適応を示すことを実証。
