日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイドarXiv:2609.33354

追跡可能な人間からヒューマノイドへの手話ベンチマーク

Traceable Human-to-Humanoid Sign Language Benchmarking

シェア:XThreadsFacebookLINEはてブBluesky

中国手話の大規模データセットHumanoidCSL-20Kを構築し、人間の動作からヒューマノイドへの変換過程を追跡可能にしたベンチマークを提案。

詳しい要約

1. どんなもの?

- 本論文は、HumanoidCSL-20Kというデータセットとベンチマークを導入している。 - 20,648の文レベルの中国手話(Chinese Sign Language)シーケンスを含み、各シーケンスには4つの整合したバージョン(ソース、修復された人間モーション、直接的なロボット参照、幾何学的に修復されたロボット参照)が付属する。 - 人間の手話動作をヒューマノイドロボットの軌道に変換する際の、フィッティング、人間モーション修復、リターゲティング、ロボット幾何修復、制御といった各段階の誤差を分離可能にすることを目的としている。

2. 先行研究と比べてどこがすごい?

- 従来の手話データ収集はコストが高く、テレオペレーションはスケールしにくいという問題があった。 - 本論文では、大規模なビデオコーパスを再利用することを動機とし、ビデオ由来の人間モーションをロボット軌道に変換する際の追跡可能性を提供する。 - 先行研究と比較して、各変換段階を追跡可能にし、エラーの分離を可能にした点が新しい。

3. 技術・手法の肝は?

- 観測支援付き局所人間モーション修復、全ロボット幾何修復、クロス表現プロヴェナンスを導入し、各変換を追跡可能にしている。 - 手話特有のキネマティック参照プロトコルを採用し、手の形、位置、手のひらの向き、手間関係を計画された動作全体にわたってスコアリングする。 - ペア評価により、人間モーションの連続性と内容保存、ロボット参照の実現可能性、物理的実行を測定する。

4. どうやって有効だと検証した?

- 全コーパスの結果から、修復後に異常な腕/手のステップが減少し、手間や手と体の貫通が減少したことを示している。 - 制御実験により、参照の学習可能性とカリキュラム効果を分離し、コンポーネントスコアが残存する実行エラーを明らかにしている。 - これにより、提案手法の有効性が検証されている。

5. 議論はある?

- 制御実験は参照の学習可能性とカリキュラム効果を分離するが、コンポーネントスコアは依然として実行エラーが残ることを示している。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、手話認識(Sign Language Recognition)、モーションリターゲティング(Motion Retargeting)、ヒューマノイドロボティクス(Humanoid Robotics)に関する論文が次に読むべき候補として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ao Liu, Shengeng Tang, Lechao Cheng, Yanbin Hao, Bingkun Bao, Richang Hong

分類: cs.RO

原文アブストラクト

Sign data collection is costly, and teleoperation scales poorly, motivating reuse of large video corpora. Humanoid signing requires converting video-derived human motion into robot trajectories while preserving linguistic motion cues. Errors from fitting, human-motion repair, retargeting, robot geometry repair, and control are hard to separate from the final trajectory alone. We introduce HumanoidCSL-20K, a dataset and benchmark of 20,648 sentence-level Chinese Sign Language sequences, each with four aligned versions: the source, the repaired human motion, the direct robot reference, and the geometry-repaired robot reference. Observation-supported local human-motion repair, full-robot geometry repair, and cross-representation provenance make each transformation traceable. Paired evaluations measure human-motion continuity and content preservation, robot-reference feasibility, and physical execution. A sign-specific kinematic-reference protocol scores handshape, location, palm orientation, and inter-hand relation over the full planned motion. Full-corpus results show fewer abnormal arm / hand steps and less inter-hand and hand-body penetration after repair. Control experiments separate reference learnability from curriculum effects, while component scores expose remaining execution errors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI