日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.02353

SAVOR: 視触覚知覚によるスキルアフォーダンス学習とロボット支援食事の一口取得

SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition

シェア:XThreadsFacebookLINEはてブBluesky

道具と食品の相互作用からスキルアフォーダンスを学習し、視触覚知覚で食品の物理特性をオンライン更新することで、ロボットが食品に適した一口取得スキルをリアルタイムに選択できるようにした。

詳しい要約

1. どんなもの?

- ロボット支援食事における bite acquisition のための新手法 SAVOR を提案する研究 - bite acquisition とは、食物に対して skewering や scooping などの manipulation skill を適用し、一口分を取得する行為 - 食物と食器の相互作用に対して、ある skill がどれだけ適するかという skill affordance を学習する - skill affordance を tool affordances(食器ができること)と food affordances(食物が許すこと)の組み合わせとして定式化 - 20種類の単一食品と10種類の in-the-wild meals で評価

2. 先行研究と比べてどこがすごい?

- SOTA の category-based 手法(例:果物には skewer を使う)と比較して bite acquisition の成功率を13%改善 - category-based 手法は食物カテゴリに基づく固定的な skill 選択であるのに対し、本手法は相互作用駆動型の skill affordance をモデル化 - 食物物性の時間変化(例:steak が冷めて固くなる)に対応できる点が従来と異なる - 食器の機能を offline calibration で学習し、食物物性を online で動的に精緻化する枠組みを統合

3. 技術・手法の肝は?

- tool affordances は offline calibration で学習:多様な食器と食物を相互作用させ、食器の機能的 capability をモデル化 - food affordances は softness, moisture, viscosity などの物理特性で特徴づけ - 初期推定は視覚条件付き language model による commonsense reasoning で実施 - 相互作用中に SAVOR-Net を用いた online の multi-modal visuo-haptic perception で動的に精緻化 - offline と online の推定を統合し、skill affordances をリアルタイムに予測して最適な skill を選択

4. どうやって有効だと検証した?

- 20種類の単一食品(single-item foods)と10種類の in-the-wild meals で評価 - SOTA の category-based 手法と比較し、bite acquisition 成功率が13%向上 - 上記の比較により、相互作用駆動型 skill affordance モデリングの有効性を示唆 - 詳細な実験設定や被験者数などは要旨からは不明

5. 議論はある?

- 食物物性の時間的変動(例:steak が冷めて固くなる)への対応の重要性を指摘 - 相互作用駆動型の skill affordance をモデル化することが、汎化性と実効性のある bite acquisition に重要と主張 - 限界や失敗事例、計算コスト、安全性などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- SOTA として比較されている category-based bite acquisition 手法(例:食物カテゴリに基づく skill 選択) - 視覚条件付き language model を用いた commonsense reasoning による物性推定の関連研究 - multi-modal visuo-haptic perception を用いた food manipulation の関連研究 - robot-assisted feeding における bite acquisition の先行研究全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhanxin Wu, Bo Ai, Tom Silver, Tapomayukh Bhattacharjee

分類: cs.RO

原文アブストラクト

Robot-assisted feeding requires reliable bite acquisition, a challenging task due to the complex interactions between utensils and food with diverse physical properties. These interactions are further complicated by the temporal variability of food properties-for example, steak becomes firm as it cools even during a meal. To address this, we propose SAVOR, a novel approach for learning skill affordances for bite acquisition-how suitable a manipulation skill (e.g., skewering, scooping) is for a given utensil-food interaction. In our formulation, skill affordances arise from the combination of tool affordances (what a utensil can do) and food affordances (what the food allows). Tool affordances are learned offline through calibration, where different utensils interact with a variety of foods to model their functional capabilities. Food affordances are characterized by physical properties such as softness, moisture, and viscosity, initially inferred through commonsense reasoning using a visually-conditioned language model and then dynamically refined through online multi-modal visuo-haptic perception using SAVOR-Net during interaction. Our method integrates these offline and online estimates to predict skill affordances in real time, enabling the robot to select the most appropriate skill for each food item. Evaluated on 20 single-item foods and 10 in-the-wild meals, our approach improves bite acquisition success rate by 13% over state-of-the-art (SOTA) category-based methods (e.g. use skewer for fruits). These results highlight the importance of modeling interaction-driven skill affordances for generalizable and effective robot-assisted bite acquisition. Website: https://emprise.cs.cornell.edu/savor/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI