EgoTL: 長時間タスクのための自己中心視点シンクアラウド連鎖

EgoTLは、egocentric入力に対する大規模基盤モデルの推論・合成を家庭タスクで改善するためのデータセット/ベンチマーク。 - 分単位の長いhorizonの日常家庭タスク計画を対象。 - think-aloud capture pipelineを構築。 - say-before-act protocolで段階的目標と発話推論をword-level timestamps付きで記録。 - metric-scale spatial estimatorsで物理属性を校正。 - memory-bank walkthroughでscene contextを、clip-level tagsでnavigation指示と詳細manipulation actionを付与。 - 3層6次元のタスクでVLMとWorld Modelsを評価。

従来のVLMベースauto-labelingは、正確なhuman action labels、chain-of-thought (CoT)、spatial annotationsを欠く一次データ源のためnoisyで、長いhorizonのspatial instruction followingで誤りが増幅。 - 分単位の日常家庭計画タスクのカバレッジ不足と不正確なspatial groundingが原因。 - EgoTLはthink-aloud capture pipelineとsay-before-act protocol、metric-scale spatial estimators、memory-bank walkthrough、clip-level tagsによりこれらを補う。 - 100以上の日常家庭タスクにわたり分単位系列のlong-horizon生成をベンチマーク可能にした点が新しい。

EgoTLの肝はegocentricデータ向けthink-aloud capture pipeline。 - say-before-act protocol: 行動前に段階的目標と発話推論をword-level timestamps付きで記録。 - metric-scale spatial estimators: 物理属性を校正。 - memory-bank walkthrough: scene contextを提供。 - clip-level tags: navigation指示と詳細manipulation actionを注釈。 - これらによりhuman CoTとmetric labelsを整備し、基盤モデルのfinetuneに利用。

EgoTLでVLMとWorld Modelsを3層6次元のタスクおよび100以上の日常家庭タスクにわたる分単位系列のlong-horizon生成でベンチマーク。 - 基盤モデルはegocentric assistantやopen-world simulatorとしては依然不十分と判明。 - EgoTLのtraining splitでhuman CoTとmetric labelsに整合したfinetuneを行い、long-horizon planning and reasoning、step-wise reasoning、instruction following、spatial groundingが改善。

基盤モデルはegocentric assistantやopen-world simulatorとして未だ不十分であることが示唆。 - VLM推論チェーンとworld-model synthesisは物体hallucination、ステップ欠落、実世界物理属性の無視を起こしうる。 - これらは分単位の日常家庭計画タスクのカバレッジ不足と不正確なspatial groundingに起因。 - その他の議論や限界は要旨からは不明。

要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLM-based auto-labeling、chain-of-thought (CoT)、World Models、spatial grounding、egocentric assistant、open-world simulatorが挙げられる。 - 同分野の定番としてegocentric vision、embodied intelligence、long-horizon planningの研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。