日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.09940

Instruct2Act: ロボット行動ネットワークによる人間指示からの行動系列生成と実行

Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語の指示を軽量なオンデバイスパイプラインで原子行動の系列に変換し、視覚解析と軌道生成ネットワークでロボットマニピュレーションを実行する手法を提案した。

詳しい要約

1. どんなもの?

- 人間の自由形式の指示をロボット操作に変換する軽量オンデバイスパイプライン - 2段階構成 - Instruct2Act: 指示を原子行動の順序列に解析 - RAN: 各サブ行動の制御軌道を生成 - クラウド不要で単一カメラ環境で動作

2. 先行研究と比べてどこがすごい?

- 従来は計算・センシング制約で自由形式指示の追従が困難 - クラウドサービス不要の完全オンデバイス実現 - 軽量ながら高いサブ行動予測精度と実機成功率を両立 - 詳細は要旨からは不明

3. 技術・手法の肝は?

- Instruct2Act: コンパクトなBiLSTMとmulti-head-attention autoencoderで指示を解析 - RAN: dynamic adaptive trajectory radial network (DATRN)とYOLOv8による視覚環境解析で軌道生成 - 原子行動(reach, grasp, move, place等)の順序列に変換

4. どうやって有効だと検証した?

- 独自のプロプライエタリデータセットでInstruct2Actのサブ行動予測精度91.5%を達成 - 実機評価4タスク(pick-place, pick-pour, wipe, pick-give)で全体成功率90% - サブ行動推論<3.8秒、エンドツーエンド実行30-60秒

5. 議論はある?

- 資源制約下・単一カメラ設定での決定論的リアルタイム操作の実用的道筋を示す - 限界や課題は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてBiLSTM, multi-head-attention autoencoder, DATRN, YOLOv8が挙げられる - 同分野の定番としてVision-Language-Actionモデルや模倣学習関連の研究が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Archit Sharma, Dharmendra Sharma, John Rebeiro, Peeyush Thakur, Narendra Dhar, Laxmidhar Behera

分類: cs.RO, cs.AI

原文アブストラクト

Robots often struggle to follow free-form human instructions in real-world settings due to computational and sensing limitations. We address this gap with a lightweight, fully on-device pipeline that converts natural-language commands into reliable manipulation. Our approach has two stages: (i) the instruction to actions module (Instruct2Act), a compact BiLSTM with a multi-head-attention autoencoder that parses an instruction into an ordered sequence of atomic actions (e.g., reach, grasp, move, place); and (ii) the robot action network (RAN), which uses the dynamic adaptive trajectory radial network (DATRN) together with a vision-based environment analyzer (YOLOv8) to generate precise control trajectories for each sub-action. The entire system runs on a modest system with no cloud services. On our custom proprietary dataset, Instruct2Act attains 91.5% sub-actions prediction accuracy while retaining a small footprint. Real-robot evaluations across four tasks (pick-place, pick-pour, wipe, and pick-give) yield an overall 90% success; sub-action inference completes in < 3.8s, with end-to-end executions in 30-60s depending on task complexity. These results demonstrate that fine-grained instruction-to-action parsing, coupled with DATRN-based trajectory generation and vision-guided grounding, provides a practical path to deterministic, real-time manipulation in resource-constrained, single-camera settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI