論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
Progress-Think: 視覚言語ナビゲーションのための意味的進捗推論
視覚観測から指示文の進捗を意味的に推論し、ナビゲーション方策を導く三段階フレームワークを提案。R2R-CEとRxR-CEで最高性能を達成。
原題: Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation / Shuo Wang, Yucheng Wang, Guoxin Lian 他
日本語で読む → - 論文VLAロボティクス
WMPO:世界モデルに基づく視覚-言語-行動モデルの方策最適化
実環境と相互作用せずにピクセルベースの世界モデル上でVLAモデルを強化学習し、自己修正などの創発行動やサンプル効率の向上を実現した。
原題: WMPO: World Model-based Policy Optimization for Vision-Language-Action Models / Fangqi Zhu, Zhengyang Yan, Zicong Hong 他
日本語で読む → - 論文VLAロボティクス
MARS: マルチモーダル大規模言語モデルによる支援知能のためのマルチエージェントロボットシステム
視覚認識・リスク評価・計画・評価の4エージェントをMLLMで統合し、障害者支援のスマートホームロボット向けにリスクを考慮した適応的な行動計画を実現するシステムを提案した。
原題: MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence / Renjun Gao
日本語で読む → - 論文VLAロボティクス
MiMo-Embodied: クロス身体性基盤モデル技術報告
自動運転と身体性AIを統合した初のクロス身体性基盤モデルを開発し、両分野で最先端性能を達成した。
原題: MiMo-Embodied: X-Embodied Foundation Model Technical Report / Xiaoshuai Hao, Lei Zhou, Zhijian Huang 他
日本語で読む → - 論文VLAロボティクス
ExpReS-VLA: 経験再生と検索による視覚言語行動モデルの特化
事前学習済みVLAモデルを、圧縮した経験再生バッファと検索拡張生成で破滅的忘却を防ぎつつ展開環境に高速適応させる手法。
原題: ExpReS-VLA: Specializing Vision-Language-Action Models Through Experience Replay and Retrieval / Shahram Najam Syed, Yatharth Ahuja, Arthur Jakobsson 他
日本語で読む → - 論文VLAcs.CR
身体性AIのショーシャンク・リデンプション:間接的環境ジェイルブレイクの理解とベンチマーク
環境に注入された間接的なプロンプト(壁の悪意ある指示など)で身体性AIをジェイルブレイクする新攻撃IEJを提案し、自動攻撃生成・ベンチマーク生成フレームワークとベンチマークを構築した。
原題: The Shawshank Redemption of Embodied AI: Understanding and Benchmarking Indirect Environmental Jailbreaks / Chunyang Li, Zifeng Kang, Junwei Zhang 他
日本語で読む → - 論文VLAロボティクス
意味と物理の整合を図る連続的視覚-言語-行動の共同学習による行動クローニング
視覚・言語・固有感覚入力を連続的に共同学習し、双方向クロスアテンションで意味と物理のずれを解消することで、行動クローニングの累積誤差を抑え、滑らかで一貫した操作を実現するフレームワークを提案した。
原題: Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning / Xiuxiu Qi, Yu Yang, Jiannong Cao 他
日本語で読む → - 論文自動運転VLA画像認識
Percept-WAM: 知覚強化型世界認識行動モデルによる堅牢なエンドツーエンド自動運転
2D/3D知覚を単一の視覚言語モデルに統合し、World-PV/World-BEVトークンとグリッド条件付き予測で長尾・遠距離・小物体に強い自動運転モデルを提案。
原題: Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving / Jianhua Han, Meng Tian, Jiangtong Zhu 他
日本語で読む → - 論文VLAロボティクス
E0: Tweedie離散拡散によるVLAモデルの汎化性と細粒度制御の向上
量子化された行動トークン上でTweedie離散拡散を行うVLAフレームワークE0を提案し、視点摂動拡張と合わせて多様な環境での汎化と細かい制御を実現した。
原題: E0: Enhancing Generalization and Fine-Grained Control in VLA Models via Tweedie Discrete Diffusion / Zhihao Zhan, Jiaying Zhou, Likui Zhang 他
日本語で読む → - 論文VLAロボティクス
LACY: 自己改善型ロボットマニピュレーションのための視覚言語モデルに基づく言語-行動サイクル
言語から行動への変換と行動から言語への説明を双方向に学習する視覚言語モデルを提案し、低信頼ケースを能動的に拡張して自己改善することで、実機・シミュレーションのピック&プレース成功率を平均56.46%向上させた。
原題: LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation / Youngjin Hong, Houjian Yu, Mingen Li 他
日本語で読む → - 論文VLA機械学習
Pelican-VL 1.0:身体知能のための基盤ブレインモデル
7B〜72Bパラメータのオープンソース身体知能向けマルチモーダル基盤モデルを開発し、大規模データと新学習機構DPPOにより既存モデルを上回る性能を達成した。
原題: Pelican-VL 1.0: A Foundation Brain Model for Embodied Intelligence / Yi Zhang, Che Liu, Xiancong Ren 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルと3Dビジョンによる知的ロボット知覚と自律性
LLMと3Dビジョンを統合し、ロボットが自然言語と空間理解を通じて複雑な環境を知覚・推論・操作するための最新手法、応用、課題を包括的にレビューした論文。
原題: Large Language Models and 3D Vision for Intelligent Robotic Perception and Autonomy / Vinit Mehta, Charu Sharma, Karthick Thiyagarajan
日本語で読む → - 論文VLAロボティクス
X-Diffusion: 異なる身体性の人間デモンストレーションから拡散ポリシーを学習
人間の動作をノイズの多いロボット動作とみなし、拡散過程の高ノイズ段階でのみ人間デモを学習に使うことで、身体性の違いを吸収しつつタスク意図を活用する手法を提案。実機5タスクで成功率を16%向上。
原題: X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations / Maximus A. Pace, Prithwish Dan, Chuanruo Ning 他
日本語で読む → - 論文VLAロボティクス
Fast-SmartWay: パノラマ不要のエンドツーエンドゼロショット視覚言語ナビゲーション
正面のRGB-D画像3枚と言語指示のみからMLLMが直接行動を予測するゼロショットVLN-CEフレームワークを提案し、パノラマ観測とウェイポイント予測器を排除して遅延を大幅に削減した。
原題: Fast-SmartWay: Panoramic-Free End-to-End Zero-Shot Vision-and-Language Navigation / Xiangyu Shi, Zerui Li, Yanyuan Qiao 他
日本語で読む → - 論文VLAロボティクス
iFlyBot-VLM 技術報告
視覚と言語を統合し、ロボットの知覚と動作制御をつなぐ汎用VLMを提案。10のベンチマークで最高性能を達成し、データと重みを公開予定。
原題: iFlyBot-VLM Technical Report / Xin Nie, Zhiyuan Cheng, Yuan Zhang 他
日本語で読む → - 論文VLAロボティクス
光学フロー制約によるロバストな潜在行動学習
エージェントの光学フローを行動信号として活用し、妨害要素に強い潜在行動表現を学習する疑似教師ありフレームワークLAOFを提案。模倣学習と強化学習で既存手法を上回る性能を示した。
原題: LAOF: Robust Latent Action Learning with Optical Flow Constraints / Xizhou Bu, Jiexi Lyu, Fulei Sun 他
日本語で読む → - 論文VLA機械学習
DeepThinkVLA:視覚言語行動モデルの推論能力を高める
CoTがVLAモデルに有効となる2つの条件(デコーディング整合性と因果整合性)を特定し、それに基づくハイブリッドアテンションとSFT→RLパイプラインでLIBEROやRoboTwinでの成功率を大幅に向上させた論文。
原題: DeepThinkVLA: Enhancing Reasoning Capability of Vision-Language-Action Models / Cheng Yin, Yankai Lin, Wang Xu 他
日本語で読む → - 論文VLAロボティクス
METIS: 多源自己中心データによる統合型巧みな視覚-言語-行動モデルの事前学習
人間とロボットの自己中心視点データを統合した大規模データセットEgoAtlasと動作表現を用いて、巧みな操作のための視覚-言語-行動モデルを事前学習し、実世界タスクでの成功率と汎化性能を向上させた。
原題: METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model / Yankai Fu, Ning Chen, Junkai Zhao 他
日本語で読む → - 論文VLAロボティクス
アクションチャンキングにおける地平線の混合
VLAモデルで問題となる行動チャンク長(地平線)のトレードオフを解消するため、異なる地平線のセグメントを並列処理して統合するMixture of Horizons戦略を提案し、性能と汎化性を向上させた。
原題: Mixture of Horizons in Action Chunking / Dong Jing, Gang Wang, Jiaqi Liu 他
日本語で読む → - 論文自動運転/VLAロボティクス
CoC-VLA: 因果連鎖型視覚言語行動モデルによる説明可能な自動運転のための敵対的ドメイン転移
シミュレーションで得た長尾ケース対応能力を実世界へ転移するため、因果連鎖推論を行う視覚言語モデルを教師・生徒・識別器で構成した敵対的転移フレームワークを提案した論文。
原題: CoC-VLA: Delving into Adversarial Domain Transfer for Explainable Autonomous Driving via Chain-of-Causality Visual-Language-Action Model / Dapeng Zhang, Fei Shen, Rui Zhao 他
日本語で読む → - 論文VLA画像認識
OmniVLA: 物理的根拠に基づくマルチモーダルVLAと統合マルチセンサ知覚によるロボットマニピュレーション
赤外線カメラ・ミリ波レーダー・マイクアレイをRGB画像に統合する「センサマスク画像」表現を提案し、RGBのみのVLAより成功率84%で大幅に優れるマルチモーダルVLAモデルを実現した。
原題: OmniVLA: Physically-Grounded Multimodal VLA with Unified Multi-Sensor Perception for Robotic Manipulation / Heyu Guo, Shanmu Wang, Ruichun Ma 他
日本語で読む → - 論文VLAロボティクス
視覚言語行動モデルのための身体性転移学習
事前学習済みVLAモデルをマルチロボットに効率的に転移するET-VLAを提案し、合成継続事前学習とEmbodied Graph-of-Thoughtで二腕ロボットの協調タスク性能を向上させた。
原題: Embodiment Transfer Learning for Vision-Language-Action Models / Chengmeng Li, Yaxin Peng
日本語で読む → - 論文VLAロボティクス
MobileVLA-R1: 四足歩行ロボットのための視覚-言語-行動モデルを強化学習で強化
自然言語指示を四足歩行ロボットの連続制御に接地させるため、多粒度Chain-of-Thoughtデータセットと教師あり学習+GRPO強化学習の二段階学習を組み合わせた統合VLAフレームワークを提案し、実機で有効性を示した。
原題: MobileVLA-R1: Reinforcing Vision-Language-Action for Mobile Robots / Ting Huang, Dongjian Li, Rui Yang 他
日本語で読む → - 論文自動運転VLA画像認識
DeeAD: 自動運転のための視覚言語行動モデルにおける動的早期終了
自動運転向けVLAモデルの推論を、中間軌道の物理的妥当性に基づいて早期終了させることで、再学習なしに最大29%の遅延削減を実現した。
原題: DeeAD: Dynamic Early Exit of Vision-Language Action for Efficient Autonomous Driving / Haibo HU, Lianming Huang, Nan Guan 他
日本語で読む → - 論文VLA画像認識
MAPS: モジュール別近接スケジューリングによる視覚言語表現の保持と視覚言語行動モデルの汎化向上
VLAモデルのファインチューニング時に、モジュールごとに事前学習VLMへの近接制約を段階的に緩めるスケジューリングを導入し、追加パラメータなしで分布内外の性能を最大30%向上させた。
原題: MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization / Chengyue Huang, Mellon M. Zhang, Robert Azarcon 他
日本語で読む → - 論文VLAロボティクス
DIPOLE: 視覚と幾何を融合したロバストな視覚運動汎化
視覚と言語・幾何の相補的なモダリティを訓練時のドロップアウトとクロスアテンションで融合し、照明や視点変化に強い拡散ポリシーを実現した。
原題: DIPOLE: Fusing Vision and Geometry for Robust Visuomotor Generalization / Yikai Tang, Haoran Geng, Jindou Jia 他
日本語で読む → - 論文VLA画像認識
SemanticVLA: 効率的なロボット操作のための意味論的整合スパース化と強化
視覚言語行動モデルの知覚冗長性と指示-視覚の浅い整合を解決するため、意味論に基づく視覚プルーニングと階層的融合、行動結合を導入し、LIBEROでOpenVLAを21.1%上回る性能と効率を実現した。
原題: SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation / Wei Li, Renshan Zhang, Rui Shao 他
日本語で読む → - 論文VLAロボティクス
SPEAR-1: 3D理解によるロボット実演を超えるスケーリング
非ロボット画像に3D注釈を付与してVLMを強化し、3D認識と言語指示制御を統合したロボット基盤モデルSPEAR-1を提案。ロボット実演を20分の1に抑えつつ最先端性能を達成。
原題: SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding / Nikolay Nikolov, Giuliano Albanese, Sombit Dey 他
日本語で読む → - 論文VLAロボティクス
ViPRA: 動画予測によるロボット行動生成
ラベルなし動画から将来の視覚観測と潜在行動を予測するモデルを事前学習し、少数の実演で連続ロボット制御を微調整するフレームワークを提案。
原題: ViPRA: Video Prediction for Robot Actions / Sandeep Routray, Hengkai Pan, Unnat Jain 他
日本語で読む → - 論文VLAロボティクス
PerspAct: 視点取得と能動的視覚によるLLMの状況的協調スキルの向上
LLMに他者の視点を明示的に与え、能動的な視覚探索と組み合わせることで、協調タスクにおける指示理解の精度が向上することを示した研究。
原題: PerspAct: Enhancing LLM Situated Collaboration Skills through Perspective Taking and Active Vision / Sabrina Patania, Luca Annese, Anita Pellegrini 他
日本語で読む →
PR・アフィリエイト広告
