Tao Kong
収録論文 29本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- BridgeVLA++: 3次元操作のためのデータ効率的で汎化可能なメモリ拡張型視覚言語行動フレームワークVLA2026/8/1
事前学習済み視覚言語モデルを活用した3次元ロボット操作フレームワークBridgeVLAを拡張し、空間的・時間的メモリを統合することで、データ効率と汎化性能を保ちつつ、記憶依存の操作タスクで最先端の性能を達成した。
- SpatialVAM: 空間認識型マルチビュービデオ拡散によるデータ効率的なロボットポリシーVLA/操作2026/4/1
3D空間構造と時間変化を同時に捉えるため、空間認識型のマルチビューヒートマップビデオとRGBビデオを生成する初の3Dビデオ行動モデルを提案し、少数のデモで汎用的な操作を実現した。
- GR-RL:長期的器用マニピュレーションのための器用で精密なロボット学習マニピュレーション2025/12/1
人間のデモンストレーションをフィルタリング・拡張・強化学習で強化し、VLAポリシーを長期的で精密な器用マニピュレーションに特化させるフレームワークを提案。靴紐を穴に通して結ぶタスクを83.3%の成功率で自律的に達成。
- シミュレーションと同じ操作を実現:ロボットにおける正確な幾何認識の実現sim2real2025/9/1
深度カメラのノイズを除去して正確なメートル深度を推定するCamera Depth Models(CDMs)を提案し、シミュレーションで訓練した方策を実世界ロボットにそのまま適用可能にした。
- GR-3 汎用ロボットポリシー構築に向けた大規模VLAモデルVLA2025/7/1
ウェブ規模の視覚言語データとVR収集の人間軌道データ、ロボット軌道データを組み合わせて訓練した大規模VLAモデルGR-3を開発し、両腕移動ロボットByteMiniと統合して新規物体・環境・長期タスクへの汎化性能を示した。
- Chain-of-Action: ロボットマニピュレーションのための軌道自己回帰モデリングマニピュレーション2025/6/1
目標から逆算して行動系列を自己回帰的に生成する視覚運動ポリシーを提案し、RLBenchと実機タスクで最先端性能を達成した。
- BridgeVLA: 視覚言語モデルによる効率的な3Dマニピュレーション学習のための入出力アラインメントVLA2025/6/1
3D入力を複数の2D画像に投影し、2Dヒートマップで行動予測を行うことで、VLMを活用した3Dマニピュレーション学習を効率化する手法を提案。
- 人間支援によるロボット政策の行動選好最適化VLA2025/6/1
人間とのインタラクションから得た選好信号を用いてVLAモデルを事後的に改善するAPOを提案し、失敗からの学習を可能にした。
- 汎用ロボットのための視覚言語行動モデル構築で重要な要素VLA2024/12/1
視覚言語行動モデル(VLA)の性能を左右する設計要因を大規模実験で分析し、汎用ロボット向けの新しいVLAファミリーRoboVLMsを提案した論文。
- GR-2: ウェブ規模の知識を持つ生成型ビデオ・言語・行動モデルによるロボットマニピュレーションVLA2024/10/1
3800万本のインターネット動画で事前学習した大規模モデルをロボット軌道で微調整し、100以上のタスクで平均97.7%の成功率と未知環境への高い汎化性能を実現した。
- 世界モデルに基づく知覚による視覚的脚式移動歩行2024/9/1
環境の世界モデルを構築し、それを用いて視覚入力から直接脚式ロボットの制御方策を学習する手法を提案。シミュレーションで訓練しながら実世界でも正確な予測が可能で、従来手法より高い走破性と頑健性を示した。
- GR-MG: 部分注釈データを活用するマルチモーダル目標条件付きポリシーマニピュレーション2024/8/1
テキスト指示と目標画像の両方で条件付けできるポリシーを提案し、部分的に注釈されたデータを活用してロボット操作の汎化性能を向上させた。
- IRASim: ロボットマニピュレーションのための細粒度ワールドモデルワールドモデル2024/6/1
拡散トランスフォーマーとフレーム単位の行動条件付けモジュールを導入し、ロボットと物体の細かな相互作用を捉えた動画を生成するワールドモデルを提案。方策評価の加速やモデルベース計画による性能向上を実証した。
- SInViG: 人とロボットの対話のための自己進化型インタラクティブ視覚エージェントVLA2024/2/1
自然言語の曖昧さをマルチターンの視覚と言語の対話で解消する自己進化型ロボットエージェントを提案し、人間との対話実験とFrankaロボットでの操作タスクで有効性を示した。
- 実世界における統合的対話型視覚グラウンディングに向けてVLA2024/1/1
視覚対話とグラウンディングを統一的に定式化したエンドツーエンドシステムTiOを提案し、曖昧な指示を能動的に質問して対象を特定するHRIタスクで最先端性能を達成した。
- 大規模動画生成事前学習を活用した視覚ロボットマニピュレーションマニピュレーション2023/12/1
大規模動画データで生成的に事前学習したGPT型モデルGR-1を提案し、言語条件付き多タスク視覚マニピュレーションにおいてCALVINベンチマークや実機で高い成功率と汎化性能を示した。
- 視覚言語基盤モデルをロボット模倣学習に活用するRoboFlamingoVLA2023/11/1
オープンソースの視覚言語モデルOpenFlamingoを基に、単一ステップの視覚言語理解とポリシーヘッドを分離し、模倣学習で微調整するだけでロボット操作を実現するフレームワークを提案。
- InViG: 50万件の人間-ロボット対話による対話型視覚的グラウンディングのベンチマーク対話型グラウンディング2023/10/1
言語の曖昧さを含む対話を通じて対象物体を特定する対話型視覚的グラウンディングのための大規模データセットInViGを構築し、ベースライン手法を提案・評価した。
- MOMA-Force: 実世界の移動マニピュレーションのための視覚・力模倣マニピュレーション2023/8/1
視覚と力の模倣学習にアドミタンス全身制御を組み合わせ、移動マニピュレータが接触を伴う複数の家庭内タスクを高い成功率と小さな接触力で実行できるようにした。
- ロボットマニピュレーションのための視覚事前学習の探求:データセット・モデル・手法マニピュレーション2023/8/1
ロボット操作タスクにおける視覚事前学習の効果をデータセット・モデル・学習手法の観点から調査し、自己教師あり学習と教師あり学習を組み合わせたVi-PRoMを提案した。
- 情報量の多い軌跡とサンプルを探索する身体性知覚の学習身体性知覚2023/3/1
3D意味分布マップを用いて探索方策を自己教師あり学習し、不確実性の高いサンプルを選択することで、身体性知覚モデルを効率的に微調整する手法を提案。
- 意味プリミティブによるカテゴリレベル形状・姿勢の生成的推定姿勢推定2022/10/1
単一のRGB-D画像からカテゴリレベルの物体形状と姿勢を推定するフレームワークを提案し、意味プリミティブ表現とSIM(3)不変記述子で形状と姿勢を分離して高精度化した。
- インスタンス符号化Transformerによる3Dパーツ組み立て生成マニピュレーション2022/7/1
家具のパーツ群から6自由度の姿勢を推定して組み立てるTransformerベースの手法を提案し、類似形状のパーツを識別するインスタンス符号化や途中からの組み立てタスクも扱う。
- 優先的メモリリセットによる多様なサイズの材料での設計と構築の学習マニピュレーション2022/4/1
強化学習による設計者と動作計画による行動生成を階層化し、優先的メモリリセットで探索を改善することで、ロボットが異なるサイズのブロックから橋を自律的に設計・構築できるようにした。
- 意味的手がかりによる距離予測で未知環境の物体へナビゲーション物体ゴールナビゲーション2022/2/1
鳥瞰図セマンティックマップから目標物体までの経路長を予測し、最適な中間目標を選んで未知環境で物体探索ナビゲーションを行う手法を提案した。
- ICM-3D:3Dインスタンスセグメンテーションのためのインスタンス化カテゴリモデリング3Dセグメンテーション2021/8/1
3D点群のインスタンスセグメンテーションを、特徴埋め込みとクラスタリングの2段階ではなく、点ごとの分類問題として1ステップで解く手法ICM-3Dを提案した論文。
- 6自由度把持姿勢推定のための意味情報と衝突情報の同時学習マニピュレーション2021/8/1
6自由度把持姿勢推定をマルチタスク学習として定式化し、把持姿勢・インスタンス意味セグメンテーション・衝突情報を単一のエンドツーエンド微分可能な枠組みで同時に予測する手法を提案した。公開データセットで従来手法を大きく上回り、実機でも混雑環境での把持に成功した。
- 設計図なしで橋を設計・構築するロボットの学習組み立て/マニピュレーション2021/8/1
物理シミュレータで強化学習とカリキュラム学習により橋の設計方針を学習し、実機では運動計画ベースの制御と組み合わせて、設計図なしで様々な橋を組み立てる二段階ロボットシステムを提案した。
- 敵対的オプション認識型階層模倣学習模倣学習2021/6/1
長期の未注釈デモンストレーションからスキルを学ぶため、オプションで階層をモデル化し生成的敵対的最適化で方策を訓練するOption-GAILを提案。EM型アルゴリズムで専門家とエージェントのオプション占有測度を最小化し、収束性を理論的に証明した。
