日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作セグメンテーションarXiv:2507.07745

果実収穫動作の時系列分類とプリミティブ動作へのセグメンテーションにおけるLLMの能力

On the capabilities of LLMs for classifying and segmenting time series of fruit picking motions into primitive actions

シェア:XThreadsFacebookLINEはてブBluesky

果実収穫動作の時系列データを、事前定義されたプリミティブ動作(押す、引く、ひねるなど)に分類・セグメンテーションするタスクにLLMを適用し、3つのファインチューニング手法を比較評価した。

詳しい要約

1. どんなもの?

- 本研究は、Learning by Demonstration (LbD) における複雑な動作の分類・セグメンテーションを、Large Language Models (LLMs) で行えるか検証するもの。 - 対象は fruit picking 操作に現れる有限個の predefined primitive actions(pushing, pulling, twisting など)。 - UR10e robot で kinesthetic に取得した時系列データを用いる。 - 目的は、supervised learning や analytic methods の代わりに LLM を使い、実環境で適用・展開しやすい手法にすること。

2. 先行研究と比べてどこがすごい?

- 従来は supervised learning や analytic methods で primitive actions への分類・セグメンテーションを行うのが想定されている。 - 本研究は LLM を用いることで、手法を容易に適用・実環境に deploy できるようにすることを狙う点が特徴。 - 具体的な先行研究との性能比較は要旨からは不明。 - 3 種類の fine-tuning アプローチを比較検討している点が本研究の貢献として示されている。

3. 技術・手法の肝は?

- LLM に fruit picking 動作の時系列を入力し、predefined primitive actions への分類とセグメンテーションを行わせる。 - 対象動作は pushing, pulling, twisting などの primitive actions の有限集合。 - データは UR10e robot を用いた kinesthetic な取得による fruit-picking データセット。 - 3 種類の異なる fine-tuning アプローチを検討・比較する。 - 各 fine-tuning の具体的な構成やモデル名は要旨からは不明。

4. どうやって有効だと検証した?

- UR10e robot で kinesthetic に取得した fruit-picking データセット上で、3 種類の fine-tuning アプローチを比較することで検証。 - 分類・セグメンテーションの精度指標や具体的な評価結果は要旨からは不明。 - 実環境での deploy 可能性を狙うが、実機での運用検証の有無は要旨からは不明。

5. 議論はある?

- LLM を supervised learning や analytic methods の代替として用いることで、実環境への適用・展開の容易さを狙う点が議論の出発点。 - 3 種類の fine-tuning アプローチの比較から得られる知見が議論される想定だが、具体的な結果や限界は要旨からは不明。 - predefined primitive actions の有限集合に限定している点や、fruit picking 以外への汎化性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、Learning by Demonstration (LbD)、supervised learning、analytic methods が挙げられる。 - 同分野の定番として、動作セグメンテーションの手法や LLM の fine-tuning 関連研究を次に読む候補として検討できるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eleni Konstantinidou, Nikolaos Kounalakis, Nikolaos Efstathopoulos, Dimitrios Papageorgiou

分類: cs.RO

原文アブストラクト

Despite their recent introduction to human society, Large Language Models (LLMs) have significantly affected the way we tackle mental challenges in our everyday lives. From optimizing our linguistic communication to assisting us in making important decisions, LLMs, such as ChatGPT, are notably reducing our cognitive load by gradually taking on an increasing share of our mental activities. In the context of Learning by Demonstration (LbD), classifying and segmenting complex motions into primitive actions, such as pushing, pulling, twisting etc, is considered to be a key-step towards encoding a task. In this work, we investigate the capabilities of LLMs to undertake this task, considering a finite set of predefined primitive actions found in fruit picking operations. By utilizing LLMs instead of simple supervised learning or analytic methods, we aim at making the method easily applicable and deployable in a real-life scenario. Three different fine-tuning approaches are investigated, compared on datasets captured kinesthetically, using a UR10e robot, during a fruit-picking scenario.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI