日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

行動計画arXiv:2609.34730

LLMによる異種環境間の行動系列転移

Action Sequence Transfer via LLMs for Heterogeneous Environments

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーの行動系列を、シーングラフ表現を用いて異なる環境の物体配置に適応させて転移するシステムを提案し、Ego4D GoalStepから構築したデータセットで有効性を示した。

詳しい要約

1. どんなもの?

- 異なる環境間でユーザの行動系列を適応的に転送するシステムを提案。 - 入力としてソース空間の行動系列と、ソース・ターゲット両環境のscene graph表現を受け取る。 - ターゲット空間の空間的・物体的制約に適応した行動系列を予測する。 - ユーザ活動の多レベル表現を活用し、抽象度の異なる行動を一般化する。 - Ego4D GoalStep datasetから派生した新しいscene graphベースのデータセットを収集し評価。 - 物体構成が大きく異なる空間間でも有効な行動系列を生成可能。

2. 先行研究と比べてどこがすごい?

- 従来の行動転送は同種環境や類似構成を前提とすることが多いが、本手法は異種環境間を対象とする。 - ソースとターゲットのscene graphを明示的に用いることで、空間的・物体的制約の違いに対応。 - 多レベル表現により、抽象度の異なる行動を一般化し、柔軟な転送を実現。 - 既存研究との具体的な比較は要旨からは不明。

3. 技術・手法の肝は?

- 行動系列と両環境のscene graphを入力とし、ターゲット空間の行動系列を予測。 - ユーザ活動の多レベル表現を利用して、行動を異なる抽象度で一般化。 - 空間的・物体的制約に適応するためのメカニズムを備える。 - 具体的なモデルアーキテクチャや学習手法の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Ego4D GoalStep datasetから派生した新しいscene graphベースのデータセットを収集。 - このデータセットを用いてシステムを評価。 - 物体構成が大きく異なる空間間でも有効な行動系列を生成できることを示した。 - 定量的評価指標やベースラインとの比較の詳細は要旨からは不明。

5. 議論はある?

- 異種環境間の行動転送が可能であることを示唆。 - 限界や課題、今後の展望についての議論は要旨からは不明。 - 倫理的影響や実世界応用への言及は要旨からは不明。

6. 次に読むべき論文は?

- Ego4D GoalStep dataset(要旨で参照) - scene graphに基づく行動認識・転送の関連研究(一般名) - LLMを活用した行動生成・計画の研究(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Choongho Chung, DongHwan Shin, Sung-Hee Lee

分類: cs.RO

原文アブストラクト

We present an action sequence transfer system that adaptively transfers user action sequences across different target spaces. Given an input action sequence from a source space and scene graph representations of both the source and target environments, our system predicts a corresponding action sequence in the target space by adapting to the spatial and object constraints of the new environment. To achieve this, we leverage multi-level representations of user activity to generalize actions at varying levels of abstraction. To demonstrate our system, we collect a new scene graph-based dataset derived from the Ego4D GoalStep dataset for evaluation. Results indicate that our system can generate valid action sequences even between spaces with drastically different object configurations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI