日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制約付き生成/フローポリシーarXiv:2611.08654

制約を満たすフローポリシーサンプリング

CS-Pi: Constraint-Satisfying Flow Policy Sampling

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチング方針の推論時に、未学習の制約を満たしつつ方針の尤度を保つサンプリング手法CS-Piを提案。射影と棄却を組み合わせ、効率と妥当性を両立させる。

詳しい要約

1. どんなもの?

- flow-matching policy を実環境に展開する際、demonstration に無い制約(未見の障害物回避など)を推論時に満たすためのサンプリング手法 CS-Pi を提案する研究。 - 制約を満たす(safe)だけでなく、policy の下で尤もらしい(plausible)行動を生成することを両立させる。 - 再学習せず推論時に制約を強制する枠組み。

2. 先行研究と比べてどこがすごい?

- 一般的な gradient guidance は noisy state を誘導するため、clean action の running estimate 上で cost を評価する必要がある。 - policy が障害物の左右どちらを通るか不確実なとき、その推定は平均となり障害物を直進し得るという問題がある。 - rejection は plausible だが safe action が稀だと待ち時間が膨大。projection は効率的だが結果が plausible とは限らない。 - CS-Pi は projection の効率と rejection の plausibility を両立させる点が新しい。

3. 技術・手法の肝は?

- flow-matching sampling を利用した draw-project-renoise サンプラー。 - 各 draw を最近傍の safe action へ projection し、projection の移動量に応じて noise を再付加し、未修正の policy を再実行する。 - safe な draw が得られるまで繰り返す。 - projection ステップのみを置き換えることで連続コストにも拡張可能。

4. どうやって有効だと検証した?

- 2D diagnostic、7-DoF shelf pick-and-place、orientation preference、zero-shot Franka deployment で評価。 - shelf で 81% の safe success、hardware で 55% を達成。projection 単体ではそれぞれ 55%、40%。 - plausible であり続けることも確認。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、計算コストの議論は記述されていない)。

6. 次に読むべき論文は?

- gradient guidance を用いた制約付き flow/diffusion policy の研究。 - rejection sampling および projection ベースの制約強制手法。 - flow-matching policy の推論時制約満足に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Soumojit Bhattacharya, Oliver Kroemer, Shubham Tulsiani

分類: cs.RO

原文アブストラクト

A flow-matching policy deployed in the field must often satisfy a constraint that was absent from its demonstrations, such as avoiding an obstacle it has never seen. Retraining for every new constraint is impractical, so the constraint must be enforced at inference time. Enforcing it must not discard what the policy learned: an action the policy would rarely sample may avoid the obstacle yet fail the task. We therefore want actions that are both safe, satisfying the constraint, and plausible, remaining likely under the policy. Gradient guidance, the most common approach, steers noisy states, so it must evaluate its cost on the policy's running estimate of the clean action; when the policy is uncertain between passing left or right of an obstacle, this estimate is their average and can pass straight through it. We instead build on rejection and projection. Rejection redraws actions until one is safe: every output is plausible, but the wait is intractable when safe actions are rare. Projection moves an action to the nearest safe one: it is efficient, but the result need not be plausible. Our key insight is that flow-matching sampling lets us combine the two, keeping projection's efficiency and rejection's plausibility. CS-Pi, our draw-project-renoise sampler, projects each draw to the nearest safe action, adds noise back scaled to how far the projection moved it, and re-runs the unmodified policy until a draw is safe. Replacing only the projection step extends CS-Pi to continuous costs. Across a 2D diagnostic, a 7-DoF shelf pick-and-place, an orientation preference, and a zero-shot Franka deployment, CS-Pi reaches 81% safe success on the shelf and 55% on hardware, against 55% and 40% for projection, while staying plausible.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI