日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

長文脈推論arXiv:2505.16928

針の山を越えて:長文脈推論のための環境・アーキテクチャ・訓練の検討

Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

長期的な身体性タスク向けのフレームワーク∞-THORを提案し、長い軌跡に散らばる複数の手がかりを推論する新しいQAタスクとベンチマークを構築した。

詳しい要約

1. どんなもの?

- 長期的な embodied タスクのための新しいフレームワーク ∞-THOR を提案 - スケーラブルで再現可能な無制限の long-horizon trajectory を合成する生成フレームワーク - 複数の散在する手がかりを長い trajectory から探す embodied QA タスク Needle(s) in the Embodied Haystack - 数百ステップに及ぶ複雑タスクと ground-truth action 列を含む long-horizon データセットとベンチマーク - LLM ベース agent の極端な long-context 推論と対話を可能にすることを目指す

2. 先行研究と比べてどこがすごい?

- 従来の needle-in-a-haystack 型の長文脈評価を embodied 設定に拡張 - 単一の手がかりではなく、長い trajectory に散在する複数の手がかりを扱う点が新しい - 数百環境ステップにわたるタスクと ground-truth action 列を備えたデータセット/ベンチマークを提供 - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- interleaved Goal-State-Action modeling によるアーキテクチャ適応 - context extension 手法の検討 - Context Parallelism の活用 - これらにより LLM ベース agent に極端な long-context 推論と相互作用の能力を持たせる - 生成フレームワークで scalable かつ reproducible な long-horizon trajectory を合成

4. どうやって有効だと検証した?

- ∞-THOR のベンチマークを用いた実験と分析を実施 - ベンチマークが提起する課題を明らかにし、long-horizon 条件下での訓練戦略とモデル挙動に関する知見を提示 - 具体的な評価指標や比較手法の詳細は要旨からは不明

5. 議論はある?

- 実験結果と分析から long-horizon 条件下の課題と訓練戦略・モデル挙動の知見を示す - 次世代の堅牢な長期推論・計画が可能な embodied AI システムの基盤を提供すると主張 - 限界や未解決問題の具体的な議論は要旨からは不明

6. 次に読むべき論文は?

- Needle(s) in the Embodied Haystack タスクに関連する needle-in-a-haystack 型 long-context 評価研究 - interleaved Goal-State-Action modeling に関連する embodied LLM agent 研究 - context extension 手法および Context Parallelism に関する研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bosung Kim, Prithviraj Ammanabrolu

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

We introduce $\infty$-THOR, a new framework for long-horizon embodied tasks that advances long-context understanding in embodied AI. $\infty$-THOR provides: (1) a generation framework for synthesizing scalable, reproducible, and unlimited long-horizon trajectories; (2) a novel embodied QA task, Needle(s) in the Embodied Haystack, where multiple scattered clues across extended trajectories test agents' long-context reasoning ability; and (3) a long-horizon dataset and benchmark suite featuring complex tasks that span hundreds of environment steps, each paired with ground-truth action sequences. To enable this capability, we explore architectural adaptations, including interleaved Goal-State-Action modeling, context extension techniques, and Context Parallelism, to equip LLM-based agents for extreme long-context reasoning and interaction. Experimental results and analyses highlight the challenges posed by our benchmark and provide insights into training strategies and model behaviors under long-horizon conditions. Our work provides a foundation for the next generation of embodied AI systems capable of robust, long-term reasoning and planning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI