日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/流体制御arXiv:2512.08463

強化学習で技能獲得におけるフィードバックの役割を探る

Using reinforcement learning to probe the role of feedback in skill acquisition

シェア:XThreadsFacebookLINEはてブBluesky

回転円柱を水中に置き、強化学習エージェントに抗力の最大化・最小化を学習させた結果、流れのフィードバックなしでも同じ行動系列で同等の性能が得られ、技能実行にフィードバックは必須でないことを示した。

詳しい要約

1. どんなもの?

- 強化学習エージェントを用いてスキル獲得におけるfeedbackの役割を調べる研究 - 人間の被験者を避け、卓上循環水路内の回転円柱にgeneralist reinforcement learning agentを直接接続 - 目的はdragの最大化または最小化 - 物理系ならではの混沌とした流れと複雑なダイナミクスを持つタスク

2. 先行研究と比べてどこがすごい?

- 人間研究より再現が容易で安価な物理系セットアップを実現 - 数十年の実験研究が単純で高性能なopen-loop policiesのレシピを提供 - 高次元flow feedbackにより数分の実世界interactionで高性能drag-control strategiesを発見 - feedbackなしのreplayでもほぼ同一性能を示し、実行にfeedbackが不要であることを実証

3. 技術・手法の肝は?

- generalist reinforcement learning agentを回転円柱を備えた卓上循環水路に直接接続 - drag最小化/最大化をrewardとして直接設定 - 高次元flow feedbackの有無を比較 - 学習後のaction sequencesをfeedbackなしでreplayして性能を検証

4. どうやって有効だと検証した?

- 高次元flow feedbackありの学習で数分の実世界interactionにより高性能戦略を発見 - 同じaction sequencesをfeedbackなしでreplayし、ほぼ同一性能を確認 - flow feedbackなしの学習ではdrag最大化で高性能policyの発見に失敗 - drag最小化では成功するが、より遅く信頼性が低いことを確認

5. 議論はある?

- 高性能スキルの学習には実行より豊富な情報が必要な場合がある - 学習条件の良し悪しはdynamicsやpolicy complexityではなく目標のみに依存 - feedback、特にflow feedbackは学習後のpolicy実行には不要 - 物理系の混沌とした流れのモデル化・シミュレーションの困難さに言及

6. 次に読むべき論文は?

- 要旨からは不明(具体的な参照論文なし) - 関連手法としてgeneralist reinforcement learning、open-loop policies、flow feedbackを用いたdrag controlの研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Antonio Terpin, Raffaello D'Andrea

分類: cs.AI, cs.LG, cs.RO, cs.SY, eess.SY

原文アブストラクト

Many high-performance human activities are executed with little or no external feedback: think of a figure skater landing a triple jump, a pitcher throwing a curveball for a strike, or a barista pouring latte art. To study the process of skill acquisition under fully controlled conditions, we bypass human subjects. Instead, we directly interface a generalist reinforcement learning agent with a spinning cylinder in a tabletop circulating water channel to maximize or minimize drag. This setup has several desirable properties. First, it is a physical system, with the rich interactions and complex dynamics that only the physical world has: the flow is highly chaotic and extremely difficult, if not impossible, to model or simulate accurately. Second, the objective -- drag minimization or maximization -- is easy to state and can be captured directly in the reward, yet good strategies are not obvious beforehand. Third, decades-old experimental studies provide recipes for simple, high-performance open-loop policies. Finally, the setup is inexpensive and far easier to reproduce than human studies. In our experiments we find that high-dimensional flow feedback lets the agent discover high-performance drag-control strategies with only minutes of real-world interaction. When we later replay the same action sequences without any feedback, we obtain almost identical performance. This shows that feedback, and in particular flow feedback, is not needed to execute the learned policy. Surprisingly, without flow feedback during training the agent fails to discover any well-performing policy in drag maximization, but still succeeds in drag minimization, albeit more slowly and less reliably. Our studies show that learning a high-performance skill can require richer information than executing it, and learning conditions can be kind or wicked depending solely on the goal, not on dynamics or policy complexity.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI