日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.04931

INTENTION:対話的直感と接地されたVLMによるヒューマノイドロボット動作の傾向推論

INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルによるシーン推論と対話駆動型メモリを統合し、新しい環境でも人間のように直感的に操作行動を推論できるロボットフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための新フレームワーク INTENTION を提案する研究。 - 精密な物理モデルや事前定義された action sequence に依存しない制御を目指す。 - Vision-Language Models (VLMs) による scene reasoning と interaction-driven memory を統合する。 - 人間のような直感的な物理理解と適応性をロボットに付与することを狙う。 - 新規 scene で反復的な指示なしに適切な interaction behavior を推論する。

2. 先行研究と比べてどこがすごい?

- 従来の制御・計画は精密な物理モデルと事前定義 action sequence に依存し、実世界の modeling inaccuracies や新規タスクへの汎化に弱い。 - 本研究はそれらモデル依存を避け、VLM の scene reasoning と interaction 履歴の memory を組み合わせる点が異なる。 - 人間の暗黙的な物理理解に着想を得て、反復指示なしの適応を狙う点が特徴。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- Memory Graph を導入し、過去の task interaction から scene を記録する。 - この memory が実世界の多様なタスクに対する人間的な理解と意思決定を体現する。 - Intuitive Perceptor を設計し、視覚 scene から physical relations と affordances を抽出する。 - 両者を組み合わせ、新規 scene で適切な interaction behavior を推論する。 - VLM による scene reasoning と interaction-driven memory の統合が中核。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 実機実験やベースライン比較の詳細は記述されていない。 - 動画リンク (https://robo-intention.github.io) が示されるのみ。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、議論点の記述はない。 - VLM の推論誤りや memory の汎化性に関する議論は明示されていない。

6. 次に読むべき論文は?

- Vision-Language Models (VLMs) を用いたロボット manipulation の関連研究。 - affordance 抽出や physical relations 推定に関する研究。 - interaction memory や experience replay を用いたロボット学習の研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Wang, Weijie Wang, Boyuan Deng, Heng Zhang, Rui Dai, Nikos Tsagarakis

分類: cs.RO, cs.AI

原文アブストラクト

Traditional control and planning for robotic manipulation heavily rely on precise physical models and predefined action sequences. While effective in structured environments, such approaches often fail in real-world scenarios due to modeling inaccuracies and struggle to generalize to novel tasks. In contrast, humans intuitively interact with their surroundings, demonstrating remarkable adaptability, making efficient decisions through implicit physical understanding. In this work, we propose INTENTION, a novel framework enabling robots with learned interactive intuition and autonomous manipulation in diverse scenarios, by integrating Vision-Language Models (VLMs) based scene reasoning with interaction-driven memory. We introduce Memory Graph to record scenes from previous task interactions which embodies human-like understanding and decision-making about different tasks in real world. Meanwhile, we design an Intuitive Perceptor that extracts physical relations and affordances from visual scenes. Together, these components empower robots to infer appropriate interaction behaviors in new scenes without relying on repetitive instructions. Videos: https://robo-intention.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI