日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

教示・言語指導arXiv:2509.14548

SimCoachCorpus: 身体的教示のための言語と軌道を含む自然なデータセット

SimCoachCorpus: A naturalistic dataset with language and trajectories for embodied teaching

シェア:XThreadsFacebookLINEはてブBluesky

レーシングシミュレータで29人が約90分間運転し、15人はプロのコーチから指導を受けた。車両状態や軌道、コーチの音声フィードバック、認知負荷や感情状態などのアノテーションを含む大規模データセットを構築した。

詳しい要約

1. どんなもの?

- SimCoachCorpusは、言語と身体動作が絡み合うembodied teaching(身体を伴う教示)の研究用に構築された自然主義的データセット。 - race car simulator drivingを題材に、29名の人間が約90分間サーキットを走行。 - 15名はprofessional performance driving coachによる1対1指導を受講。 - 14名はcoachingなしで走行。 - 車両状態・入力、map(track boundariesとrace-line)、cone landmarksを含む。 - これらはcoachのconcurrent verbal feedbackおよび各lap終了時のterminal feedbackと同期。 - 各feedback発話への高レベルcoaching categories注釈、studentのcompliance評定、surveyによるcognitive loadとemotional stateの自己報告も含む。 - 規模は20,000以上のconcurrent feedback utteran…

2. 先行研究と比べてどこがすごい?

- 要旨では、embodied interactive domainsにおいて言語と物理行動が絡む高品質データセットが不足していると指摘。 - 特に、embodied tasksで人がverbal instructionを通じてmotor skillsを時間的に獲得する過程を捉えたデータセットが少ないことが動機。 - SimCoachCorpusは、coached群とuncoached群を比較可能な形で、走行軌跡・車両入力・coach発話・注釈・主観報告を同期して提供する点が特徴。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- race car simulator上で約90分の走行実験を実施し、coached条件とuncoached条件を設定。 - 車両state・inputs、map情報(track boundaries、race-line)、cone landmarksを記録。 - coachのconcurrent verbal feedbackとlap終了時のterminal feedbackを走行データと同期。 - 各concurrent feedback utteranceに高レベルcoaching categoriesの注釈を付与。 - studentのcoaching adviceへのcompliance評定、surveyによるcognitive load・emotional stateの自己報告を収集。 - データセットの応用例としてin-context learning、imitation learning、topic modelingを提示。

4. どうやって有効だと検証した?

- 29名の被験者による約90分の走行データを収集し、coached群15名とuncoached群14名を比較可能なデータセットとして構築。 - 20,000以上のconcurrent feedback utterances、400以上のterminal feedback utterances、40時間以上のinteractive driving dataを含むことを報告。 - データセットの応用可能性としてin-context learning、imitation learning、topic modelingの適用例を示す。 - 個々の応用の定量的評価結果は要旨からは不明。

5. 議論はある?

- 本データセットはmotor learning dynamicsの調査、linguistic phenomenaの探索、teaching and learningのcomputational modelsの訓練に利用可能と主張。 - coached/uncoachedの比較や、concurrent feedbackとterminal feedbackの同期、compliance評定、cognitive load・emotional stateの自己報告が研究上の利点として挙げられる。 - 限界や倫理的議論、データ収集バイアス、一般化可能性についての具体的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は不明。 - 関連手法として、要旨が応用例に挙げるin-context learning、imitation learning、topic modelingの代表的文献。 - 同分野の定番として、embodied instruction following、motor skill learning、human-robot teachingに関する研究。 - データセット公開先(DOI: 10.7910/DVN/W7VTKZ)およびコード(https://github.com/ToyotaResearchInstitute/sim_coach_corpus)を参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emily Sumner, Deepak E. Gopinath, Laporsha Dees, Patricio Reyes Gomez, Xiongyi Cui, Andrew Silva, Jean Costa, Allison Morgan, Mariah Schrum, Tiffany L. Chen, Avinash Balachandran, Guy Rosman

分類: cs.RO, cs.HC

原文アブストラクト

High-quality curated datasets are essential for training and evaluating AI approaches, but are often lacking in embodied interactive domains where language and physical action are intertwined. In particular, few datasets capture how people acquire motor skills in embodied tasks through verbal instruction over time. To address this gap, we introduce SimCoachCorpus: a unique dataset of race car simulator driving that enables the investigation of rich phenomena during guided and unguided motor skill acquisition. In this dataset, 29 humans were asked to drive in a driving simulator around a race track for approximately ninety minutes. Fifteen participants received one-on-one instruction from a professional performance driving coach, and 14 participants drove without coaching instruction. SimCoachCorpus includes features such as vehicle state and inputs, map (track boundaries and race-line), and cone landmarks. Additionally, these are synchronized with the coach's concurrent verbal feedback and additional terminal feedback at the end of each lap. We also provide high-quality annotations of high-level coaching categories for each concurrent feedback utterance, ratings on students' compliance with coaching advice, and self-reported cognitive load and emotional state of participants (gathered from surveys during the study). The final dataset includes over 20,000 concurrent feedback utterances, over 400 terminal feedback utterances, and over 40 hours of interactive driving data. Our naturalistic interactive dataset can be used to investigate motor learning dynamics, explore linguistic phenomena, and train computational models of teaching and learning. We demonstrate applications of this dataset for in-context learning, imitation learning, and topic modeling. Data is hosted at https://doi.org/10.7910/DVN/W7VTKZ and code is available at https://github.com/ToyotaResearchInstitute/sim_coach_corpus

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI