人間動作認識2025/5/1arXiv:2505.18012

TransformerとxLSTMを用いた複数の基本動作を組み合わせた組立タスクの分類

Classification of assembly tasks combining multiple primitive actions using Transformers and xLSTMs

手のランドマーク座標から長い組立作業を分類するため、LSTM・Transformer・xLSTMを比較し、xLSTMが新しい作業者への汎化で優れることを示した。

詳しい要約

1. どんなもの？

- 人間が行う組立作業の分類を目的とした研究 - 対象は複数のprimitive actionを含む長いassembly sequential task - タスクを細かいprimitive actionに分割することが困難な状況を想定 - hand landmark coordinatesを入力に用いる - LSTM、Transformer、xLSTMの3つのclassifierを比較

2. 先行研究と比べてどこがすごい？

- 従来はprimitive actionへの分割が前提となりがちだが、分割不能な長いタスクを直接分類 - LSTM、Transformerに加え最近のxLSTMを同一条件で比較した点が特徴 - 訓練したoperatorだけでなく新規operatorへのgeneralizationも評価 - xLSTMがTransformerより僅かに優れることを示した

3. 技術・手法の肝は？

- hand landmark coordinatesを入力特徴として使用 - LSTM、Transformer、xLSTMの3モデルでassembly task分類を比較 - CT benchmarkのHRC scenarioを使用 - insertion、screw fastening、snap fittingなどを組み合わせた長いタスクを対象 - real-padded sequencesでテストを実施

4. どうやって有効だと検証した？

- CT benchmarkのHRC scenarioで評価 - 訓練sequenceを実施したoperatorと3名の新規operatorのsequenceでテスト - real-padded sequencesでのaccuracyを比較 - 訓練operator: LSTM 72.9%、Transformer 95.0%、xLSTM 93.2% - 新規operator: LSTM 43.5%、Transformer 54.3%、xLSTM 60.8%

5. 議論はある？

- LSTMは他2手法より明確に低性能 - TransformerとxLSTMは訓練operatorでは良好 - 新規operatorへのgeneralizationではxLSTMがTransformerより優位 - 著者らは本分類ではxLSTMがTransformerより僅かにedgeがあると結論 - 新規operatorでの精度低下自体に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 比較対象のLSTMに関する原論文 - Transformerに関する原論文 - xLSTMの原論文 - CT benchmarkおよびHRC scenarioの論文 - hand landmark coordinatesを用いたaction recognition関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Miguel Neves, Pedro Neto

分類: cs.RO

原文アブストラクト

The classification of human-performed assembly tasks is essential in collaborative robotics to ensure safety, anticipate robot actions, and facilitate robot learning. However, achieving reliable classification is challenging when segmenting tasks into smaller primitive actions is unfeasible, requiring us to classify long assembly tasks that encompass multiple primitive actions. In this study, we propose classifying long assembly sequential tasks based on hand landmark coordinates and compare the performance of two well-established classifiers, LSTM and Transformer, as well as a recent model, xLSTM. We used the HRC scenario proposed in the CT benchmark, which includes long assembly tasks that combine actions such as insertions, screw fastenings, and snap fittings. Testing was conducted using sequences gathered from both the human operator who performed the training sequences and three new operators. The testing results of real-padded sequences for the LSTM, Transformer, and xLSTM models was 72.9%, 95.0% and 93.2% for the training operator, and 43.5%, 54.3% and 60.8% for the new operators, respectively. The LSTM model clearly underperformed compared to the other two approaches. As expected, both the Transformer and xLSTM achieved satisfactory results for the operator they were trained on, though the xLSTM model demonstrated better generalization capabilities to new operators. The results clearly show that for this type of classification, the xLSTM model offers a slight edge over Transformers.

arXivで原文を読む →arXiv概要ページ

← 論文一覧