DreamTrajectory: ワールドモデル整合による軌道誘導型行動生成による移動操作

DreamTrajectoryは、言語条件付きモバイル操作のための軌道誘導型フレームワークである。モバイル操作では、ベースとアームの協調動作が必要であり、固定ベース操作よりも行動空間が大きい。既存のVision-Language-Action (VLA)ポリシーは、観測を直接全身行動チャンクにマッピングし、明示的なタスク空間運動計画なしに大きな行動空間を探索するため、ベースとアームの協調予測が不正確である。また、予測したチャンクをオープンループで実行するため、制御誤差や未モデル化の接触が蓄積し、計画と実現の運動にギャップが生じる。DreamTrajectoryは、これらの問題に対処するため、意図レベルのエンドエフェクタ軌道と全身行動チャンクを単一の行動エキスパートで共同予測し、軌道がベースとアームの行動生成を明示的に導くようにする。さらに、軽量な軌道ワールドモデルが候補行動チャンクが誘発する軌道を予測し、テスト時探索・予測・スコアリング手順で計画軌道に最も整合する候補を選択する。

先行研究のVLAポリシーは、観測から直接全身行動チャンクを生成し、明示的なタスク空間運動計画を持たないため、ベースとアームの協調予測が不正確である。また、予測したチャンクをオープンループで実行するため、制御誤差や接触による計画と実現の乖離が生じる。DreamTrajectoryは、意図レベルのエンドエフェクタ軌道を明示的に予測し、それを行動生成のガイドとして用いる点で優れている。さらに、テスト時に軌道ワールドモデルを用いて候補行動の結果を予測し、計画軌道との整合性を検証することで、オープンループ実行の問題を軽減する。これにより、接触を伴う関節物体操作タスクで特に大きな性能向上を達成している。

DreamTrajectoryの技術の肝は、2つの主要コンポーネントにある。第一に、単一の行動エキスパートが意図レベルのエンドエフェクタ軌道と全身行動チャンクを共同予測する。これにより、軌道がベースとアームの行動生成を明示的に導く。第二に、軽量な軌道ワールドモデルが候補行動チャンクが誘発する軌道を予測し、テスト時探索・予測・スコアリング手順で計画軌道に最も整合する候補を選択する。この手順により、実行前に行動の結果を検証し、計画と実現のギャップを縮小する。

有効性は、シミュレーション環境MS-HABと実世界の3つのモバイル操作タスクで検証された。MS-HABでは、軌道ガイダンスにより平均成功率が32.3%から47.5%に向上し、テスト時リファインメントによりさらに54.8%に向上した。特に接触を伴う関節物体操作タスクで最大の改善が見られた。実世界の3つのタスクでは、平均成功率がそれぞれ63.3%、81.7%、90.0%であった。

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、テスト時探索・予測・スコアリング手順は計算コストがかかる可能性があり、実時間性能に影響を与えるかもしれない。また、軌道ワールドモデルの精度が最終的な性能に影響するため、モデル誤差が蓄積する可能性も考えられる。しかし、これらの点は要旨では明示的に議論されていない。

要旨で参照されている先行研究は明示されていないが、関連する分野としてVision-Language-Action (VLA)ポリシー、モバイル操作、軌道生成、ワールドモデルに関する研究が挙げられる。具体的には、VLAポリシーの代表的なものとしてRT-2やOpenVLA、モバイル操作のベンチマークとしてMS-HAB、ワールドモデルとしてはDreamerなどが関連する。次に読むべき論文としては、これらの基盤となる研究や、モバイル操作における軌道計画と行動生成の統合に関する最近の研究が考えられる。