Stephen James
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- BiGym 2.0:ヒューマノイド家庭内操作のための学習済み・エージェント開発ポリシーのベンチマークヒューマノイド操作2026/10/6
Unitree G1ヒューマノイドによる20の家庭内タスクを対象に、全身制御器を用いたデモと評価を統合したベンチマークBiGym 2.0を構築し、VLA微調整・模倣学習・デモ駆動強化学習・コーディングエージェントを比較評価した。
- ZeroBot:生成的Real2Simで数分でゼロから学習sim2real2026/9/27
単一視点画像から画像to3D生成モデルで物体メッシュを作り、シミュレーションで並列強化学習を行い、実機タスクを数分で学習するフレームワーク。
- 布を広げる動作を学習:変形可能物体操作へのワールドモデルのスケーリング変形可能物体操作2026/2/1
DreamerV2を改良し、表面法線入力を用いたワールドモデルで空中での布広げ操作を学習。シミュレーションと実機でのゼロショット展開で汎化性能を示した。
- 粗から細への強化学習による連続制御マニピュレーション2024/7/1
連続行動空間を段階的に離散化してQ値を最大化する区間を選ぶことで、安定かつサンプル効率の良い価値ベース強化学習を実現し、ロボットマニピュレーションタスクで有効性を示した。
- BiGym: デモ駆動型モバイル双腕マニピュレーションのベンチマークマニピュレーション2024/7/1
家庭環境での40種類のモバイル双腕ロボット操作タスクを集めたベンチマークと学習環境を構築し、人間のデモやRGB・深度などの観測を提供して模倣学習・強化学習手法を評価した。
- グリーンスクリーン拡張によるロボットマニピュレーションのシーン汎化マニピュレーション2024/7/1
グリーンスクリーン上で収集した実演データにクロマキーで背景を合成するGreenAugを提案し、未知環境への汎化性能が従来の拡張手法を上回ることを実機実験で示した。
- 画像生成モデルを行動モデルとして活用するGENIMAマニピュレーション2024/7/1
Stable Diffusionを微調整し、RGB画像上に目標関節動作を描画させる行動クローニングエージェントを提案。RLBenchと実世界の操作タスクで、シーン変化への頑健性や新規物体への汎化性能が向上することを示した。
- ロボット学習のための冗長性を考慮した行動空間マニピュレーション2024/6/1
マニピュレータの冗長性に着目し、関節空間とタスク空間の利点を併せ持つ新しい行動空間ERを提案。シミュレーションと実機で有効性を検証した。
- 描画して拡散:拡散ベースの行動クローニングのための画像空間と行動空間の整合模倣学習2024/5/1
ロボットの3Dモデルを仮想描画することで、RGB画像と低レベル行動を画像空間上で統合し、拡散プロセスで行動を生成する手法を提案。サンプル効率と空間汎化性能を実世界6タスクで実証した。
- 階層拡散方策による運動学的制約を考慮したマルチタスクロボットマニピュレーションマニピュレーション2024/3/1
操作方策を高レベルのタスク計画と低レベルの目標条件付き拡散方策に階層化し、微分可能運動学で関節軌道生成器を蒸留することで、長期的タスクと運動学的制約を両立させた。
- 言語条件付き経路計画経路計画2023/8/1
単一視点画像と言語プロンプトから衝突関数を学習し、接触を許容するか避けるかを言語で指定できる経路計画手法を提案。
- マルチビュー・マスク付きワールドモデルによる視覚的ロボットマニピュレーションマニピュレーション2023/2/1
複数視点の映像からマスク付きオートエンコーダで表現を学習し、その表現上でワールドモデルを構築することで、視覚的ロボット操作を効率的に行う手法を提案した論文。
- StereoPose: 背面NOCSを用いたステレオ画像からのカテゴリレベル6D透明物体姿勢推定姿勢推定2022/11/1
透明物体の姿勢推定のため、ステレオ画像から物体サイズ・初期姿勢・姿勢精緻化を分離して推定するフレームワークを提案し、背面NOCSマップと視差注意機構で高精度化を実現した。
- マスク付き視覚事前学習による実世界ロボット学習VLA2022/10/1
多様な動画画像に対するMAEベースの自己教師あり視覚事前学習を行い、凍結した表現を制御モジュールに渡すことで、様々な実世界ロボットタスクでCLIPやImageNet事前学習を上回る性能を示した。
- ファインチューニングとメタ強化学習の有効性比較メタ強化学習2022/6/1
視覚ベースのベンチマークで、メタ強化学習とマルチタスク事前学習+ファインチューニングを比較し、後者が同等以上に機能することを示した。
- 視覚制御のためのマスク付きワールドモデルモデルベース強化学習2022/6/1
視覚表現学習とダイナミクス学習を分離し、マスク付き畳み込み特徴とViTで再構成するオートエンコーダと潜在ダイナミクスモデルを組み合わせた視覚モデルベース強化学習フレームワークを提案。Meta-worldとRLBenchの多様な視覚ロボットタスクで最先端性能を達成。
- 反復自己学習によるSim-to-Real 6D物体姿勢推定とロボットビンピッキングへの応用sim2real2022/4/1
フォトリアルなシミュレータで初期モデルを学習し、実データへの予測を擬似ラベルとして反復的に自己学習させることで、実環境での6D姿勢推定精度とビンピッキング成功率を向上させた研究。
- 木探索を導入した粗から細へのQ-attentionマニピュレーション2022/4/1
Q-attentionの粗いボクセル化による曖昧さを解消するため、上位k個のボクセルを木構造で展開し価値推定を蓄積するQTEを提案。ARMに組み込み、RLBench12タスクと実世界の小物体タスクで性能向上を示した。
- 学習パスランキングによる粗から細へのQアテンションマニピュレーション2022/4/1
複数の経路生成手法から得た候補経路を学習でランク付けするLPRを提案し、C2F-ARMに組み込むことでサンプル効率を保ちつつ多様なタスクを実現した。
- 強化学習における3D回転のためのBingham方策パラメータ化マニピュレーション2022/2/1
3D回転(クォータニオン)を出力する強化学習タスクに対し、ガウス分布ではなくBingham分布で方策をパラメータ化する手法を提案し、回転推定やロボットマニピュレーションで有効性を示した。
- ReorientBot:特定姿勢での配置に向けた物体の持ち替え学習マニピュレーション2022/2/1
RGB-Dカメラによる姿勢推定と体積再構成、学習したウェイポイント選択、従来の動作計画を組み合わせ、物体を把持し直して目標の姿勢で配置する視覚ベースのマニピュレーションシステムを提案した。
- 山積み物体から安全に取り出すロボットシステムSafePickingマニピュレーション2022/2/1
物体レベルのマッピングと深層Qネットワークによる動作計画を組み合わせ、物体の山から隠れた対象物を安全に引き出すシステムを提案した。
- 粗から細へのQ-attention:離散化による視覚的ロボットマニピュレーションの効率的学習マニピュレーション2021/6/1
シーンを段階的にズームインする粗から細へのQ-attentionで並進空間をほぼ損失なく離散化し、不安定な連続アクター・クリティック法の代わりに離散Q学習を可能にした。疎報酬のRLBenchタスクで最先端性能を達成し、実世界ポリシーを3デモから数分で学習できる。
- Q-attention:視覚ベースロボットマニピュレーションのための効率的学習マニピュレーション2021/5/1
人間の視線のように注目領域を抽出するQ-attentionを核に、マニピュレーションを3段階パイプラインに分割し、少数のデモから疎報酬タスクを効率的に学習する手法を提案。
- ウェイポイント計画ネットワーク経路計画2021/5/1
LSTMとA*などの古典アルゴリズムを組み合わせたハイブリッド経路計画手法WPNを提案し、2D環境でA*やMPNet、VINと比較して効率性と汎化性能の優位性を示した。
- Ivy: フレームワーク間移植性を実現するテンプレート型深層学習フレームワーク抽象化2021/2/1
TensorFlow・PyTorch・Jaxなど複数の深層学習フレームワークの関数を統一インターフェースで抽象化し、フレームワーク非依存のコードを書けるようにするライブラリIvyを提案。
- エゴスフィア空間メモリによるエンドツーエンドの空間推論空間メモリ2021/2/1
エージェント周囲のエゴスフィアに記憶を符号化するパラメータ不要のモジュールESMを提案し、ドローンやマニピュレータの視覚運動制御で学習効率と性能を向上させた。
- MoreFusion: ボリュメトリックフュージョンによる複数物体の6D姿勢推定6D姿勢推定2020/4/1
複数視点のRGB-D画像から物体の姿勢候補を蓄積し、接触・遮蔽のある複数物体の干渉しない6D姿勢を統合最適化で推定するシステムを提案。ロボットアームが物体の山を崩さずに取り出す実機応用も示した。
- 実人間データなしで人間の一発模倣を学習するsim2real2019/11/1
シミュレーション内のドメインランダム化だけで、実世界の人間の実演を必要とせずにロボットが人間の一発模倣を獲得できることを示した研究。
- RLBench:ロボット学習ベンチマークと学習環境ベンチマーク2019/9/1
100種類の多様なロボット操作タスクと無限に生成できるデモを備えた大規模ベンチマーク環境を提案し、少数ショット学習などの研究を促進する。
- PyRep: V-REPを深層ロボット学習に活用するツールキットシミュレーション2019/6/1
ロボット学習向けにV-REPを拡張し、柔軟なAPI・新レンダリングエンジン・最大1万倍の高速化を実現したツールキットを開発した。
- ランダム化→正規化適応ネットワークによる実世界データ不要のロボット把持sim2real2018/12/1
ランダム化されたシミュレーション画像を正規化画像へ変換するRCANを学習し、実画像も同様に変換することで実世界データなしに視覚ベース把持エージェントをsim-to-real転移した研究。
- タスク埋め込み制御ネットワークによる少数ショット模倣学習模倣学習2018/10/1
メトリック学習でタスク埋め込みを作り、1回以上の実演からロボットが新しい視覚誘導マニピュレーション課題を素早く学習できる手法を提案し、シミュレーションと実機で有効性を示した。
- 変形物体操作のためのsim-to-real強化学習sim2real2018/6/1
布などの変形物体を対象に、ドメインランダム化を用いてシミュレーションで強化学習エージェントを訓練し、実世界へ転移させてタオル折りやハンガー掛けなどのタスクを成功させた論文。
- シミュレーションから実世界への多段階タスクのためのEnd-to-End視覚運動制御の転移sim2real2017/7/1
シミュレータで生成した軌道とドメインランダム化を用いてCNNを訓練し、実画像なしで実世界の多段階片付けタスク(キューブの把持とバスケットへの投入)をEnd-to-Endで実行できることを示した。
- 深層Q学習によるロボットアーム制御のための3Dシミュレーションsim2real2016/9/1
3Dシミュレーション内で7自由度ロボットアームを深層Q学習により訓練し、画像入力からキューブの位置特定と把持を学習。実機への直接転移の予備結果も示した。
