Amy Zhang
Amazon
収録論文 34本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- フロー反転アクションアンカーによるサンプル効率の高い強化学習方策改善強化学習/マニピュレーション2026/10/16
フローマッチング方策のノイズ空間を流れの反転で状態条件付き潜在アンカーに変換し、その周辺で粒子探索と価値誘導サンプリングを行うことで、実機マニピュレーションの成功率とサンプル効率を向上させた研究。
- 適応手法の選び方:Vision-Language-Actionモデルのためのデータ別ガイドVLA2026/10/13
VLAモデルの適応手法を、オン/オフポリシーデータやオフライン/オンライン適応などのデータ条件で比較し、状況に応じた最適な手法選択の指針を示した。
- テスト時マルチエージェント協調のための分解価値勾配フローマルチエージェント強化学習2026/10/1
オフラインMARLにおいて、生成モデルと価値関数をテスト時のアクション洗練で統合し、Stein変分勾配降下で行動サンプルを高価値領域へ輸送するSCOUTを提案。離散・連続ベンチマークで最高性能を達成。
- 双因果最適輸送による微分可能な双模倣距離フレームワーク模倣学習2026/9/29
双模倣距離(双因果最適輸送)を線形計画問題として定式化し、その勾配を閉形式で求めることで、状態圧縮・モデル学習・模倣学習に応用可能な微分可能アルゴリズムを提案した。
- 先読み:ナビゲーションに重要な手がかりに関する反復推論ナビゲーション2026/6/1
事前学習済み視覚言語モデルを用いて、疎な言語指示からのナビゲーションにおいて、環境の手がかりを反復的に提案・批評することで、プラン依存の手がかりを発見し、移動計画を改善するフレームワークを提案した。
- 正則化潜在ダイナミクス予測は行動基盤モデルの強力なベースラインである強化学習2026/3/1
ゼロショット強化学習のための状態特徴学習において、複雑な表現学習目的が本当に必要かを検証し、潜在空間での次状態予測に直交性正則化を加えたシンプルな手法RLDPが、既存の複雑な手法と同等以上の性能を達成することを示した。
- オフライン型マルチエージェント強化学習の安定化レシピマルチエージェント強化学習2026/3/1
オフラインMARLにおける非線形価値分解の不安定性を分析し、スケール不変な価値正規化(SVN)を提案して安定な学習を実現する手法を提案した論文。
- 因子分解型潜在行動ワールドモデルワールドモデル2026/2/18
動画から潜在行動を学習する際、シーンを複数の独立因子に分解し、各因子が独自の潜在行動を推論・予測するフレームワークFLAMを提案。複数エンティティが同時に動く複雑な環境での予測精度と表現品質を向上させ、下流の政策学習を容易にする。
- ロボットの失敗検出と推論のための自己洗練型視覚言語モデルVLA2026/2/1
ロボットの失敗検出と推論をマルチタスクの自己洗練プロセスとして定式化し、疎な二値ラベルと少数の詳細な推論アノテーションを組み合わせて学習するARMORを提案。推論時には複数の洗練軌跡から自信度の高い予測を選択し、失敗検出率と推論性能で従来手法を大幅に上回る。
- エンティティ中心の階層型強化学習と因子分解サブゴール拡散階層型強化学習2026/2/1
複数エンティティ環境での長期目標タスクに対し、価値ベースのGCRLエージェントと因子分解サブゴール生成拡散モデルを組み合わせた階層型オフライン強化学習手法を提案し、疎報酬の画像ベース長期タスクで成功率を大幅に向上させた。
- フローマッチングによるマルチエージェント協調群制御2025/11/1
フローベースの協調行動表現を学習し、分散型ワンステップ方策に蒸留することで、拡散モデル並みの性能を保ちつつ推論を約14.5倍高速化したマルチエージェント強化学習フレームワーク。
- ロボティクス向け大規模並列マルチタスク強化学習のベンチマークマルチタスク強化学習2025/7/1
GPU加速シミュレータIsaacGym上で50の操作タスクと20の歩行タスクからなるマルチタスク強化学習ベンチマークMTBenchを構築し、複数のアルゴリズムを統一的に評価した。
- 目標条件付き強化学習のためのヌル反事実的因子相互作用目標条件付き強化学習2025/5/6
物体中心タスクで後知恵リラベリングが失敗する問題に対し、原因物体が存在しなければ対象物体の遷移が変わったはずという「ヌル反事実」で相互作用を定義し、それを後知恵リラベリングと組み合わせて学習効率を改善する手法を提案した。
- 行動基盤モデルの高速適応強化学習2025/4/1
事前学習済み行動基盤モデルのゼロショット方策を、低次元タスク埋め込み空間での探索によりオンライン数ステップで高速適応させる手法を提案。
- CREStE: インターネット規模の事前知識と反事実ガイダンスによるスケーラブルな地図なしナビゲーションナビゲーション2025/3/1
視覚基盤モデルの蒸留と反事実逆強化学習を組み合わせ、未知の都市・オフロード環境でも長距離を地図なしで走行できるナビゲーション手法を提案。
- EC-Diffuser: エンティティ中心の行動生成によるマルチオブジェクト操作マニピュレーション2024/12/1
物体中心表現とエンティティ中心Transformer、拡散モデルを組み合わせ、オフライン画像データからマルチオブジェクト操作を学習し、未見の物体・目標の組み合わせへゼロショット汎化を実現した。
- RLZero: ドメイン内教師なしで言語から直接方策を推論VLA2024/12/1
言語指示から動画生成モデルで想像した観測を対象環境に投影し、教師なし強化学習で事前学習したエージェントが即座に模倣することで、追加学習なしに言語から行動を生成する手法を提案。
- SkiLD: 因子間相互作用に導かれた教師なしスキル発見教師なし強化学習2024/10/1
状態を因子に分解し、因子間の多様な相互作用を引き起こすスキルを教師なしで学習する手法を提案。家庭環境ロボットなど長期的な疎報酬タスクで既存手法を上回る。
- 大規模言語モデルフィードバックによる意思決定エージェントのためのオンライン内的報酬強化学習/LLM報酬2024/10/1
LLMのフィードバックを非同期で利用し、RL方策と内的報酬関数を同時に学習する分散アーキテクチャONIを提案。NetHackで最先端性能を達成し、大規模オフラインデータセットを不要にした。
- オフラインデータセットを用いた観察からの模倣学習への双対アプローチ模倣学習2024/6/1
専門家の行動データなしに観察のみから模倣するため、双対性原理に基づく多段効用関数を直接学習するDILOを提案し、高次元観察でも性能を向上させた。
- ロボットエアホッケー:強化学習のためのマニピュレーションテストベッドsim2real2024/5/1
ロボットエアホッケーを題材に、到達からブロック押し出しまで多様なタスクと2つのシミュレータ・実機を含む強化学習テストベッドを構築し、模倣学習・オフラインRL・スクラッチRLで評価した。
- SMORE: オフライン目標条件付き強化学習のためのスコアモデルオフライン強化学習2023/11/1
オフラインデータのみを用いて多様な目標を達成するスキルを学習するため、混合分布マッチングに基づく識別器不要の手法を提案し、操作・歩行タスクで既存手法を大幅に上回る性能を示した。
- f-方策勾配:f-ダイバージェンスを用いた目標条件付き強化学習の一般フレームワーク強化学習2023/10/1
目標条件付き強化学習において、エージェントの状態訪問分布と目標との間のf-ダイバージェンスを最小化することで探索を促進する新しい手法f-PGを提案し、スパース報酬環境での性能向上を示した。
- 公平性に配慮した方策勾配強化学習によるロボット支援のバイアス低減強化学習/公平性2023/6/1
ロボットが人間と相互作用する際のバイアスを自己検出し、公平な意思決定を促す強化学習手法FSPGRLを提案。レストランサービスでのユーザ研究で有効性を検証した。
- LIV: ロボット制御のための言語-画像表現と報酬学習VLA2023/6/1
テキスト注釈付きの行動なし動画から、言語や画像ゴールで指定されたタスクに対する価値関数を暗黙的に学習する統合的な視覚言語表現・報酬学習手法LIVを提案し、ロボット制御の模倣学習や報酬設計で従来手法を上回る性能を示した。
- 観測シフトを超えた強化学習の汎化強化学習2023/6/1
双模倣指標を拡張し、文脈依存の観測シフトに不変な表現空間を学習することで、テスト時の観測変化や未見環境への汎化を実現する手法を提案。
- ニューラル制約充足:物体再配置における組合せ的一般化のための階層的抽象化マニピュレーション2023/3/1
ピクセルから物体表現を推論し、そのクラスタ上に因子化遷移グラフを構築することで、物体の数や配置が異なる再配置タスクへ組合せ的に一般化する制御手法を提案した論文。
- 双対強化学習:強化学習と模倣学習の統一と新手法強化学習2023/2/1
強化学習と模倣学習の既存手法を双対問題として統一的に捉え、その制約を解消する新手法ReCOILとf-DVLを提案し、ロボットの移動・操作タスクで性能向上を実証した。
- VIP: 価値関数の暗黙的事前学習による汎用視覚報酬と表現VLA2022/10/1
人間の動画から自己教師ありで視覚表現を事前学習し、未知のロボット操作タスクに対する密な報酬関数を生成する手法を提案。
- 複数の不確実性集合に対するロバスト方策学習ロバスト強化学習2022/2/1
システム同定とロバスト強化学習を組み合わせ、複数の異なる摂動集合に対してロバストな方策を学習する手法を提案し、多様な制御タスクで最悪ケース性能の向上を示した。
- 文脈ベース表現を用いたマルチタスク強化学習マニピュレーション2021/2/1
タスクのメタデータを活用し、複数の文脈依存で合成可能な表現を共有することで知識転移を効率化し、50種類のロボット操作タスクからなるMeta-Worldで最先端の性能を達成した論文。
- モデル不変状態抽象化によるモデルベース強化学習モデルベース強化学習2021/2/1
行動の影響が局所的である因果的疎性を利用し、未見状態への組合せ的汎化を可能にする新たな状態抽象化「モデル不変性」を提案し、MuJoCo Humanoid等でサンプル効率の向上を示した論文。
- 効果的なSim2Real転移のための介入設計sim2real2020/12/1
ドメインランダム化とデータ拡張を因果推論の介入として捉え、不変性を促す目的関数がsim2sim・sim2real転移の汎化を改善することを示し、7自由度Jacoアームのピクセル観測によるゼロショット転移で実証した。
- 画像からのモデルフリー強化学習におけるサンプル効率の改善強化学習2019/10/1
画像入力の強化学習で、再構成損失による表現学習が不安定になる原因をVAEに特定し、安定化手法を提案してMuJoCoタスクで最先端性能と観測ノイズへの頑健性を実現した。
