日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRI/全身動作生成arXiv:2607.11018

ゾウ型ソフトトランク動作の全身意味-動作接地:軽量フローマッチングによる実現

Whole-Body Semantic-to-Actuation Grounding of Elephant-Inspired Soft-Trunk Motion via Lightweight Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

多様な全身表現が可能なゾウ型ソフトトランクロボットに対し、大規模言語モデルの応答を全身動作に変換する軽量フローマッチング手法を提案し、接地精度と推論速度を改善した。

詳しい要約

1. どんなもの?

本論文は、ゾウの鼻を模したソフトトランク型ロボット(trunk-like continuum manipulator)を用いた人間とロボットの密接なインタラクション(HRI)において、ユーザーのオープンな言語指示(open-vocabulary)をロボットの全身動作に変換するフレームワークを提案している。提案手法は、軽量なフロー・マッチング(lightweight flow matching)に基づき、マルチモーダル大規模言語モデル(multimodal large language model)の応答を、ロボットの形態に合わせた意図強度タプル(intent-intensity tuple)に変換し、腱駆動の動作軌道をCatmull-Romスプラインでパラメータ化し、実現可能な全身動作を生成する。

2. 先行研究と比べてどこがすごい?

先行研究では、エンドエフェクタの動作のみを制御する方法は全身の形状を表現できないという問題があり、また全身動作を直接高次元で命令することは実現可能性の維持が困難だった。本提案は、生の応答を高密度回帰するベースラインと比較して、未見の指示に対する正解率を25.0%から77.2%に向上させた。さらに、denoising-diffusionベースラインと比較して、正解率を71.9%から77.2%に向上させ、推論時間を7.86msから4.87msに短縮しつつ、動作の多様性を維持している点が優れている。

3. 技術・手法の肝は?

手法の核は、1) マルチモーダル大規模言語モデルの応答を、ロボットの形態に合わせた有界な意図強度タプルに変換する点、2) 腱駆動の動作軌道をコンパクトなCatmull-Romスプライン制御点でパラメータ化することで次元を削減する点、3) rectified-flow generatorを用いて実現可能な全身動作をサンプリングする点である。これにより、高次元の全身動作生成を効率的かつ実現可能にしている。

4. どうやって有効だと検証した?

有効性の検証は、未見の指示に対する接地正解率(held-out grounding correctness)を測定する実験と、100名の参加者による物理的なHRI実験で行われた。前者では、生の応答を高密度回帰するベースラインと比較して正解率が25.0%から77.2%に向上し、denoising-diffusionベースラインと比較しても71.9%から77.2%に向上した。後者では、生成されたソフトトランク動作チャネルを追加することで、音声視覚のみのベースラインと比較して、全体的な満足度の肯定的評価が46%から82%に増加した。

5. 議論はある?

要旨からは、提案手法の限界や今後の課題についての議論は明示されていない。ただし、実験結果から、提案手法が従来のベースラインよりも高い正解率と低い推論時間を達成している一方で、動作の多様性を維持していることが示されている。また、物理的なHRI実験では、動作チャネルの追加がユーザー満足度を向上させることが示されたが、その他の要因(例えば、動作の自然さや安全性)に関する詳細な議論は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、denoising-diffusionベースラインや、マルチモーダル大規模言語モデル、rectified-flow generatorが挙げられる。次に読むべき論文としては、これらの手法の詳細を扱った論文や、ソフトトランク型ロボットの全身動作生成に関する他の研究が考えられる。具体的には、rectified flowの理論を提案した論文や、diffusion modelsを用いた動作生成の研究、またelephant-inspired soft roboticsに関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tingcong Liu, Tongshun Chen, Siyi Ma, Yuhao Wang, Aye Phyu Phyu Aung, Ibrahim Alsarraj, J. Senthilnath, Bo An, Ke Wu

分類: cs.RO

原文アブストラクト

For close-contact human-robot interaction (HRI), trunk-like continuum manipulators provide a physical channel for diverse whole-body expression, but grounding open-vocabulary responses into such robots is difficult: end-effector motion underspecifies body shape, whereas direct whole-body commands are high-dimensional and hard to keep feasible. We propose a whole-body semantic-to-actuation grounding framework for elephant-inspired soft-trunk HRI based on lightweight flow matching. The framework converts responses from a multimodal large language model into bounded, morphology-aligned intent-intensity tuples, parameterizes tendon-actuation trajectories with compact Catmull-Rom spline controls, and uses a rectified-flow generator to sample feasible whole-body trunk motions. Experiments show that the proposed framework improves held-out grounding correctness from 25.0% to 77.2% over a raw-response dense-regression baseline. Compared with a denoising-diffusion baseline, it improves correctness from 71.9% to 77.2% and reduces inference time from 7.86 ms to 4.87 ms while preserving motion diversity. A 100-participant physical HRI study further shows that adding the generated soft-trunk motion channel increases the positive overall-satisfaction rating from 46% to 82% over the audiovisual-only baseline.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI