日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.09310

視覚的アフォーダンス推論によるシーン非依存な階層型両手タスクプランニング

Scene-agnostic Hierarchical Bimanual Task Planning via Visual Affordance Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

単一のシーン画像から物体と相互作用点を検出し、両手の協調動作を考慮したサブゴールを生成して、未知の混雑環境でも実行可能な両手タスク計画を立てるフレームワークを提案した。

詳しい要約

1. どんなもの?

- オープン環境で活動する embodied agent 向けの、両手協調タスクプランニングの統合フレームワーク。 - 高レベル指示を、3D に接地した両手実行へ橋渡しすることを狙う。 - 単一の scene image から対象物を検出し、world-aligned な interaction point を生成する。 - 空間的隣接性と cross-object accessibility を推論し、両手協調の機会を活かす subgoal を作る。 - subgoal を structured skill library に結び付け、同期した単腕/両腕 action sequence を生成する。

2. 先行研究と比べてどこがすごい?

- 近年の foundation model は強い semantic reasoning を持つが、既存の robotic task planner は主に unimanual で、両手操作固有の空間・幾何・協調の課題に対応できていない。 - 本研究は scene-agnostic な設定での両手マニピュレーションを対象とする点が異なる。 - 高レベル推論と 3D-grounded な両手実行を単一フレームワークで統合する点を主張。 - 混雑した未見シーンでも再学習なしで汎化する点を特徴として示す。 - 具体的な先行手法名との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- Visual Point Grounding (VPG): 単一の scene image を解析し、関連物体の検出と world-aligned interaction point の生成を行う。 - Bimanual Subgoal Planner (BSP): 空間的隣接性と cross-object accessibility を推論し、motion-neutralized でコンパクトな subgoal を生成する。 - Interaction-Point-Driven Bimanual Prompting (IPBP): subgoal を structured skill library に結び付け、hand-state と affordance 制約を満たす同期 action sequence を生成する。 - これら3モジュールの連携により、意味的に妥当で物理的に実行可能かつ並列化可能な両手行動を計画する。

4. どうやって有効だと検証した?

- 実験により、一貫性があり実行可能でコンパクトな両手 plan を生成することを示す。 - 混雑したシーンに対して再学習なしで汎化することを示す。 - 両手タスクに対する頑健な scene-agnostic affordance reasoning を実証すると主張。 - 具体的なデータセット名、ベースライン、評価指標、成功率的な数値は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、単一画像からの 3D grounding の限界、cross-object accessibility 推論の誤り、両手同期の実行時制約などが考えられるが、要旨には明記されていない。 - 再学習なしの汎化の範囲や、実機での検証規模についても要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、Visual Point Grounding (VPG)、Bimanual Subgoal Planner (BSP)、Interaction-Point-Driven Bimanual Prompting (IPBP) の各モジュールに関わる研究を挙げる。 - 同分野の定番として、foundation model を用いた task planning、affordance reasoning、bimanual manipulation の研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kwang Bin Lee, Jiho Kang, Sung-Hee Lee

分類: cs.RO

原文アブストラクト

Embodied agents operating in open environments must translate high-level instructions into grounded, executable behaviors, often requiring coordinated use of both hands. While recent foundation models offer strong semantic reasoning, existing robotic task planners remain predominantly unimanual and fail to address the spatial, geometric, and coordination challenges inherent to bimanual manipulation in scene-agnostic settings. We present a unified framework for scene-agnostic bimanual task planning that bridges high-level reasoning with 3D-grounded two-handed execution. Our approach integrates three key modules. Visual Point Grounding (VPG) analyzes a single scene image to detect relevant objects and generate world-aligned interaction points. Bimanual Subgoal Planner (BSP) reasons over spatial adjacency and cross-object accessibility to produce compact, motion-neutralized subgoals that exploit opportunities for coordinated two-handed actions. Interaction-Point-Driven Bimanual Prompting (IPBP) binds these subgoals to a structured skill library, instantiating synchronized unimanual or bimanual action sequences that satisfy hand-state and affordance constraints. Together, these modules enable agents to plan semantically meaningful, physically feasible, and parallelizable two-handed behaviors in cluttered, previously unseen scenes. Experiments show that it produces coherent, feasible, and compact two-handed plans, and generalizes to cluttered scenes without retraining, demonstrating robust scene-agnostic affordance reasoning for bimanual tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI