日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2610.14020

LabInstruct: 実験手順のための状況依存型インストラクショナル動画生成ベンチマーク

LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures

シェア:XThreadsFacebookLINEはてブBluesky

実研究室の実験手順を対象に、初期画像と自然言語指示から手順動画を生成するタスクのベンチマークを構築し、8つの最先端動画生成モデルを評価した。

詳しい要約

1. どんなもの?

- 実験の自動化を目指す self-driving laboratories (SDLs) において、AI 生成計画と物理実験の間の人間向け指示をビデオで生成するタスクを評価するベンチマーク。 - 実ラボでの situated instructional video generation を対象とし、204 タスク、5 科学分野、実参照実行、objects/actions/contacts/state transitions の構造化注釈を含む。 - 初期ワークスペース画像と自然言語指示から実験デモを合成する image-to-video モデルを評価。

2. 先行研究と比べてどこがすごい?

- 従来、ビデオ生成モデルが実際の実験手順を信頼性高く伝えられるかは体系的に研究されていなかった。 - LabInstruct は実ラボの手順を対象に、視覚的リアリズムと手順的正確性のギャップを定量化する初のベンチマーク。 - 8 つの frontier image-to-video モデルを評価し、見た目はもっともらしくても手順的に誤っている頻度が高いことを示した。

3. 技術・手法の肝は?

- 実ラボの 204 タスクを 5 科学分野から収集し、実参照実行と構造化注釈 (objects, actions, contacts, state transitions) を付与。 - 初期ワークスペース画像と自然言語指示を入力とし、image-to-video モデルで指示ビデオを生成。 - 生成ビデオを手順的正確性の観点で評価するベンチマーク設計。

4. どうやって有効だと検証した?

- 8 つの frontier image-to-video モデルを LabInstruct 上で評価。 - 視覚的に妥当な生成が手順的に不正確であることを定量的に示し、実験指示に必要な信頼性との大きなギャップを明らかにした。

5. 議論はある?

- 視覚的リアリズムと手順的信頼性の間に大きな隔たりがある。 - 複雑でオープンワールドなラボ環境では、微細操作、長期的手順、タスク・セットアップ間の変動が大きく、信頼できる自動化は依然困難。 - 人間が AI 生成計画と物理実験の間の実行インターフェースとして重要であり、明確で効果的な人間向け実験ガイダンスの必要性が議論されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明記されていない。 - 同分野の定番として、image-to-video generation の代表的モデル (例: Stable Video Diffusion, Sora など) や、self-driving laboratories (SDLs) に関するレビュー、実験手順の video understanding 研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuming Fu, Weijia Wu, Jing Chen, Jiahao Tang, Feifei Chen, Hongyu Zhu, Xin Jin, Alex Jinpeng Wang

分類: cs.RO, cs.AI

原文アブストラクト

Self-driving laboratories (SDLs) aim to automate the full experimental loop, from scientific decision-making to physical execution. Ideally, AI-generated plans could be carried out directly by robotic systems, but reliable automation remains difficult in complex, open-world laboratory environments, where experiments often involve fine-grained manipulation, long-horizon procedures, and substantial variation across tasks and setups. Humans therefore remain an important execution interface between AI-generated plans and physical experiments, creating a need for clear and effective human-facing experimental guidance. Because laboratory procedures are inherently visual, spatial, and dynamic, video is particularly well suited to communicating apparatus configurations, manipulation actions, temporal dependencies, and state changes. Recent advances in video generation now make it possible to synthesize experimental demonstrations directly from an initial workspace image and a natural-language instruction. However, whether such models can reliably communicate real laboratory procedures has not been systematically studied. We introduce LabInstruct, a benchmark for situated instructional video generation in real laboratories. LabInstruct contains 204 tasks across 5 scientific disciplines, with real reference executions and structured annotations of objects, actions, contacts, and state transitions. Evaluating 8 frontier image-to-video models, we find that visually plausible generations frequently remain procedurally incorrect, revealing a substantial gap between visual realism and the reliability required for experimental instruction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI