日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.23112

FTACT: 力・トルクを考慮したアクションチャンキングトランスフォーマーによるボトルのピック&再配置タスク

FTACT: Force Torque aware Action Chunking Transformer for Pick-and-Reorient Bottle Task

シェア:XThreadsFacebookLINEはてブBluesky

アクションチャンキングトランスフォーマーに力・トルクセンシングを追加した模倣学習ポリシーを提案し、視覚情報だけでは難しい接触を伴うボトルのピック&再配置タスクの成功率を向上させた。

詳しい要約

1. どんなもの?

- 小売環境での manipulator robot の接触を伴う難事例(倒れた飲料ボトルの upright 化)を対象にした研究 - Action Chunking Transformer (ACT) を拡張し、force と torque センシングを追加した multimodal Imitation Learning policy『FTACT』を提案 - 画像・joint states・forces and torques を入力とし end-to-end で学習 - Telexistence Inc の Ghost という単腕プラットフォームに実装 - Pick-and-Reorient bottle task の成功率向上を狙う

2. 先行研究と比べてどこがすごい?

- 従来の ACT は視覚中心で、接触遷移の微妙な事象を解像しにくい - 本研究は force/torque を追加モダリティとして統合し、接触に富むスキルへ拡張 - 観測空間を ACT に揃えた baseline を ablation として比較し、優位性を示す - 純粋な視覚では観測性が限られる press/place 局面で force/torque が有効と示唆 - 軽量な force/torque センシングと現代の模倣学習アーキテクチャの組合せで小売 manipulation のスケール化への実践的道筋を示す

3. 技術・手法の肝は?

- Action Chunking Transformer を基盤に force と torque を入力に追加した multimodal policy - 画像・joint states・forces and torques を統合し end-to-end 学習 - press および place 局面での接触遷移を検出・活用する設計 - Ghost(Telexistence Inc の単腕プラットフォーム)上に実装 - 観測空間を ACT に一致させた baseline を ablation として用意

4. どうやって有効だと検証した?

- 実機ハードウェア実験で Pick-and-Reorient bottle task を評価 - 観測空間を ACT に揃えた baseline との比較でタスク成功率が向上 - force/torque 信号が視覚的観測性の限られる press と place 局面で有益であることを実験で示唆 - 詳細な試行数・統計手法は要旨からは不明

5. 議論はある?

- force/torque を接触に富むスキルの補完モダリティとして使う妥当性を議論 - 視覚のみでは解像しにくい接触事象への対処が主眼 - 小売 manipulation のスケール化に向けた実践的経路として位置づけ - 限界・失敗事例・センサノイズ等の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking Transformer (ACT) - multimodal Imitation Learning の関連研究 - force/torque を用いた contact-rich manipulation の研究 - 小売環境向け manipulation の研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryo Watanabe, Maxime Alvarez, Pablo Ferreiro, Pavel Savkin, Genki Sano

分類: cs.RO

原文アブストラクト

Manipulator robots are increasingly being deployed in retail environments, yet contact rich edge cases still trigger costly human teleoperation. A prominent example is upright lying beverage bottles, where purely visual cues are often insufficient to resolve subtle contact events required for precise manipulation. We present a multimodal Imitation Learning policy that augments the Action Chunking Transformer with force and torque sensing, enabling end-to-end learning over images, joint states, and forces and torques. Deployed on Ghost, single-arm platform by Telexistence Inc, our approach improves Pick-and-Reorient bottle task by detecting and exploiting contact transitions during pressing and placement. Hardware experiments demonstrate greater task success compared to baseline matching the observation space of ACT as an ablation and experiments indicate that force and torque signals are beneficial in the press and place phases where visual observability is limited, supporting the use of interaction forces as a complementary modality for contact rich skills. The results suggest a practical path to scaling retail manipulation by combining modern imitation learning architectures with lightweight force and torque sensing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI