Jacky Liang
収録論文 23本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- BPP: 重要な履歴フレームに注目した長文脈ロボット模倣学習模倣学習2026/2/1
視覚言語モデルで検出したタスクに関連するキーフレームのみを条件とすることで、履歴に依存するロボットタスクの模倣学習を安定化させ、実世界タスクで成功率を大幅に向上させた。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- Chain-of-Modality: マルチモーダル人間動画と視覚言語モデルによる操作プログラムの学習VLA2025/4/1
筋電アームバンドやマイクなどで計測した人間の操作動画から、視覚言語モデルがタスク計画と力などの制御パラメータを抽出し、ロボットに操作タスクを実行させる手法を提案した。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- コードの連鎖:言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 接触の多いマニピュレーションのためのハイブリッド力・速度制御器の事前条件の学習マニピュレーション2022/6/1
棚やキャビネットのような制約環境での接触を伴う操作のため、ハイブリッド力・速度制御器(HFVC)のスキル表現と、点群ベースの学習された事前条件を用いた探索型タスクプランナを提案し、シミュレーションで訓練した事前条件が実世界にも転移することを示した。
- 学習したスキル効果モデルを用いた探索ベースの生涯ロボットマニピュレーション計画タスク計画2021/9/1
パラメータ化スキルの効果モデルをシミュレーションで学習し、そのモデルを使って探索ベースのタスク計画を行うことで、新しいスキルやタスクに生涯適応できる手法を提案した。実世界への転移も追加学習なしで可能であることを示した。
- 単一画像から関節物体の部位と関節機構を推定するFormNet関節物体認識2020/12/1
RGB-D画像1枚とセグメンテーションマスクから、物体部位間の関節の種類とパラメータを予測するニューラルネットワークFormNetを提案し、実画像にも汎化できることを示した。
- トルクセンサなしで動作中のロボットアームの接触位置を推定接触推定2020/11/1
ドメインランダム化を用いて、関節トルクを観測せずに動作中のロボットアームの接触位置を推定するニューラルネットワークを訓練し、91.5%の検出精度と3.0cmの位置誤差を達成した。
- 階層的な物体中心コントローラの構成を強化学習で学習するロボットマニピュレーションマニピュレーション2020/11/1
物体中心のサブタスクコントローラを強化学習で動的に階層構成し、サンプル効率・未知環境へのゼロショット汎化・実機転移を改善した研究。
- 研究向けモジュール式ロボットアーム制御スタック:Franka-InterfaceとFrankaPyマニピュレーション2020/11/1
Franka Emika Panda研究用ロボットにカスタマイズ可能で扱いやすいインターフェースを提供するモジュール式制御スタックを開発した。高レベル命令をスキルとして抽象化し、C++の1kHz低レベル制御とPythonの高レベル命令を組み合わせ、外部センサフィードバックもリアルタイムで流し込める。
- タスク指向の能動的探索でsim2realギャップを埋める方策学習sim2real2020/6/1
タスクに関連するシステムパラメータを特定するための探索行動を明示的に学習し、モデルベース軌道最適化と組み合わせて実世界タスクを遂行する枠組みを提案・検証した論文。
- 接触フィードバックとGPU加速ロボットシミュレーションによる把持物体の姿勢追跡把持・物体姿勢推定2020/2/1
GPUで並列化した物理シミュレーションとサンプルベース最適化を用い、把持中の物体姿勢を接触情報からリアルタイム(30Hz)で追跡する手法を提案した。
- DexPilot:素手の視覚認識による多指ロボットハンド・アームの低コスト遠隔操作システム遠隔操作2019/10/1
素手の映像だけから23自由度の多指ロボットハンド・アームを低コストで遠隔操作できる視覚ベースのシステムを開発し、単純なピック&プレースを超える複雑な操作タスクの実現と高次元データ収集を示した。
- 把持後の変位を確率的に推定する精密ロボット把持マニピュレーション2019/9/1
把持の頑健性と把持後の物体変位分布を2つのCNNで予測し、シミュレーションで学習したモデルを実機にそのまま適用して精密把持を実現した。
- GPU加速シミュレーションによる分散強化学習の高速化sim2real2018/10/1
GPUベースの物理エンジンNVIDIA Flexを用いて強化学習のシミュレーションを高速化し、CPUを大幅に削減しつつ歩行タスクの学習を短時間で実現した。
- Dex-Net 2.0:合成点群と解析的把握指標によるロバスト把持計画の深層学習マニピュレーション2017/3/1
670万件の合成点群データで把持品質を予測する畳み込みニューラルネットを訓練し、深度画像から0.8秒で93%の成功率の把持計画を実現した。
