論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/9/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
Video-to-BT: 人間の実演動画からロボット組立用の反応型ビヘイビアツリーを生成
人間の組立作業を撮影した動画をVLMでサブタスクに分解し、ビヘイビアツリーを自動生成してロボットに実行させる枠組みを提案。実行時の失敗に応じて再計画も行い、長期的な組立作業での汎化性能を実機で示した。
原題: Video-to-BT: Generating Reactive Behavior Trees from Human Demonstration Videos for Robotic Assembly / Xiwei Zhao, Yiwei Wang, Yansong Wu 他
日本語で読む → - 論文VLAロボティクス
人間のデモを超えて:VLA学習用データを生成する拡散ベース強化学習
拡散モデルを用いた強化学習で高品質・低分散な軌道を生成し、人間のデモなしでVLAモデルを学習させる手法を提案。LIBEROベンチマークで人間データやガウスRLより高い成功率を達成。
原題: Beyond Human Demonstrations: Diffusion-Based Reinforcement Learning to Generate Data for VLA Training / Rushuai Yang, Hangxing Wei, Ran Zhang 他
日本語で読む → - 論文VLAロボティクス
ロボット制御に必要なのはピクセルモーション拡散である
高レベルな運動意図と低レベルなロボット動作をピクセルモーション表現で橋渡しする拡散モデルベースの統合フレームワークDAWNを提案し、CALVINやMetaWorldで高性能を示すとともに実機への転移も実証した。
原題: Pixel Motion Diffusion is What We Need for Robot Control / E-Ro Nguyen, Yichi Zhang, Kanchana Ranasinghe 他
日本語で読む → - 論文VLAロボティクス
Plantbot:LLMモジュールエージェントネットワークによる植物とロボットの統合
植物の状態をLLMモジュール群が自然言語で解釈し、移動ロボットの行動に変換するハイブリッド生命体を提案。生物と人工物が自律的に協調する新たな人工生命モデルを示した。
原題: Plantbot: Integrating Plant and Robot through LLM Modular Agent Networks / Atsushi Masumori, Norihiro Maruyama, Itsuki Doi 他
日本語で読む → - 論文VLA画像認識
JanusVLN: 二重暗黙メモリで意味と空間を分離する視覚言語ナビゲーション
人間の左右脳のように意味理解と空間認知を別々の固定サイズの暗黙的ニューラルメモリで表現し、冗長な計算を抑えつつ効率的に視覚言語ナビゲーションを行うフレームワークを提案した。
原題: JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation / Shuang Zeng, Dekang Qi, Xinyuan Chang 他
日本語で読む → - 論文VLAロボティクス
MimicDroid: 人間の遊び動画からの文脈内学習によるヒューマノイドロボット操作
人間の遊び動画のみを訓練データとして、ヒューマノイドが新しい操作タスクを数例の動画から効率的に学習できる文脈内学習手法を提案し、実世界で成功率を約2倍に向上させた。
原題: MimicDroid: In-Context Learning for Humanoid Robot Manipulation from Human Play Videos / Rutav Shah, Shuijing Liu, Qi Wang 他
日本語で読む → - 論文VLA画像認識
SpecPrune-VLA: 行動認識型自己投機的プルーニングによる視覚言語行動モデルの高速化
VLAモデルの推論を高速化するため、時空間的一貫性を利用して視覚トークンを行動レベルと層レベルで動的に枝刈りする学習不要の手法を提案し、成功率を維持しつつ最大1.7倍の高速化を実現した。
原題: SpecPrune-VLA: Accelerating Vision-Language-Action Models via Action-Aware Self-Speculative Pruning / Hanzhen Wang, Jiaming Xu, Yushun Xiang 他
日本語で読む → - 論文VLAロボティクス
dVLA: マルチモーダル連鎖推論を備えた拡散型視覚-言語-行動モデル
視覚・言語・行動を単一の拡散目的関数で統合し、マルチモーダル連鎖推論を活用したVLAモデルdVLAを提案。LIBEROで96.4%の成功率を達成し、実機Frankaでも多段階計画を要するタスクに成功。
原題: dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought / Junjie Wen, Minjie Zhu, Jiaming Liu 他
日本語で読む → - 論文VLAロボティクス
LCMF: 具身ロボティクスVQAのための軽量クロスモダリティMambaformer
クロスアテンションとパラメータ共有状態空間モデルを組み合わせた軽量フレームワークLCMFを提案し、ロボット向けVQA・EQAタスクで高精度かつ低計算コストを実現した。
原題: LCMF: Lightweight Cross-Modality Mambaformer for Embodied Robotics VQA / Zeyi Kang, Liang He, Yanxin Zhang 他
日本語で読む → - 論文VLAロボティクス
PoseDiff: ロボット姿勢推定と動画から行動への制御を橋渡しする統合拡散モデル
単一のRGB画像からロボットの3Dキーポイントや関節角度を推定し、さらに動画のキーフレームから長期行動列を生成する拡散モデルを提案。姿勢推定と逆動力学を一つの枠組みで統合した。
原題: PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control / Haozhuo Zhang, Michele Caprio, Jing Shao 他
日本語で読む → - 論文VLAロボティクス
ActiveVLN: マルチターン強化学習による能動的探索を実現する視覚言語ナビゲーション
視覚言語ナビゲーションにおいて、少数の模倣学習で初期化した後、マルチターン強化学習とGRPOで能動的に探索し、効率的に性能を向上させるフレームワークを提案。
原題: ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation / Zekai Zhang, Weiye Zhu, Hewei Pan 他
日本語で読む → - 論文VLAロボティクス
VLMを身体性空間へと点火する:WALL-OSSによる具現化基盤モデル
大規模マルチモーダル事前学習を活用し、身体性を理解した視覚言語理解・言語と行動の連携・ロバストなマニピュレーションを統合したエンドツーエンドの具現化基盤モデルWALL-OSSを提案。
原題: Igniting VLMs toward the Embodied Space / Andy Zhai, Brae Liu, Bruno Fang 他
日本語で読む → - 論文水中ロボット/VLAロボティクス
DREAM: ドメイン認識推論による効率的な自律型水中モニタリング
VLMを活用し、事前位置情報なしで牡蠣や沈没船などの対象を探索・監視する水中ロボットの自律フレームワークを提案し、従来手法より少ないステップで広範囲をカバーできることを示した。
原題: DREAM: Domain-aware Reasoning for Efficient Autonomous Underwater Monitoring / Zhenqi Wu, Abhinav Modi, Angelos Mavrogiannis 他
日本語で読む → - 論文VLAロボティクス
Bi-VLA: 視覚言語融合による双方向制御ベースの模倣学習
双方向制御による模倣学習に視覚と言語指示を融合させ、単一モデルで複数タスクを実行できるようにしたフレームワークを提案し、実機実験で成功率の向上を示した。
原題: Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation / Masato Kobayashi, Thanpimon Buamanee
日本語で読む → - 論文VLAAI
OccVLA: 暗黙的3D占有監督を備えた視覚-言語-行動モデル
2D画像から3D占有を予測・監督信号として学習し、推論時には計算負荷を増やさずに自動運転の軌道計画と3D視覚質問応答で最高性能を達成したVLAモデル。
原題: OccVLA: Vision-Language-Action Model with Implicit 3D Occupancy Supervision / Ruixun Liu, Lingyu Kong, Derun Li 他
日本語で読む → - 論文VLAロボティクス
記号計画と連続計画を同時に生成するハイブリッド拡散モデル
拡散モデルで連続的なロボット軌道を生成しつつ、高レベルの記号計画も同時に生成するハイブリッド手法を提案し、長期的タスクの意思決定を改善した。
原題: Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning / Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu 他
日本語で読む → - 論文VLA自然言語
成長する視点:大規模言語モデルを用いた身体化された視点取得と内的ナラティブ発達のモデリング
LLMとReActを組み合わせ、Selmanの発達段階に沿った視点取得をシミュレートするPerspActシステムを拡張ディレクター課題で評価し、内的ナラティブが協調行動に与える影響を分析した。
原題: Growing Perspectives: Modelling Embodied Perspective Taking and Inner Narrative Development Using Large Language Models / Sabrina Patania, Luca Annese, Anna Lambiase 他
日本語で読む → - 論文VLAロボティクス
LLM統合ロボットシステムの信頼性向上:セキュリティと安全性の統合アプローチ
LLMを組み込んだロボットにおいて、プロンプトインジェクション攻撃への耐性と動作安全性を同時に高める統合フレームワークを提案し、シミュレーションと実機で有効性を検証した。
原題: Enhancing Reliability in LLM-Integrated Robotic Systems: A Unified Approach to Security and Safety / Wenxiao Zhang, Xiangrui Kong, Conan Dewitt 他
日本語で読む → - 論文VLAロボティクス
GalaxeaオープンワールドデータセットとG0デュアルシステムVLAモデル
実環境で収集した大規模ロボット行動データセットを構築し、VLMによる計画とVLAによる実行を組み合わせた二重システムモデルG0を3段階学習で訓練した。
原題: Galaxea Open-World Dataset and G0 Dual-System VLA Model / Tao Jiang, Tianyuan Yuan, Yicheng Liu 他
日本語で読む → - 論文VLAロボティクス
RoboChemist: 長期的・安全基準準拠のロボット化学実験システム
VLMとVLAを組み合わせた二重ループ構成で、危険物や変形物を扱う多段階の化学実験を、安全規範を守りながら実行するロボットシステムを提案した。
原題: RoboChemist: Long-Horizon and Safety-Compliant Robotic Chemical Experimentation / Zongzheng Zhang, Chenghao Yue, Haobo Xu 他
日本語で読む → - 論文VLAAI
タスクの生成的世界モデル:LLM駆動の階層的足場構築による身体性エージェント
ロボットサッカーのような長期的マルチエージェントタスクに対し、LLMをタスクの生成的世界モデルとして用い、階層的タスクネットワークで複雑な目標を分解する枠組みを提案した論文。
原題: Generative World Models of Tasks: LLM-Driven Hierarchical Scaffolding for Embodied Agents / Brennen Hill
日本語で読む → - 論文VLAロボティクス
信号と分散のバランス:VLAフローモデルのための適応的オフラインRLポストトレーニング
フローマッチングベースのVLAモデルに対し、バイアスと分散のトレードオフを適応的に制御するオフラインRL微調整法ARFMを提案し、実世界タスクでの性能向上を実現した。
原題: Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models / Hongyin Zhang, Shiyuan Zhang, Junxi Jin 他
日本語で読む → - 論文VLAロボティクス
CollabVLA: 人間と共に夢を見る自己内省型視覚-言語-行動モデル
VLMによる内省的推論と拡散ベースの行動生成を専門家混合設計で統合し、不確実な状況では人間に助言を求める協調的な視覚-言語-行動エージェントを実現した。
原題: CollabVLA: Self-Reflective Vision-Language-Action Model Dreaming Together with Human / Nan Sun, Yongchang Li, Chenxu Wang 他
日本語で読む → - 論文VLAロボティクス
身体構成に同変な視覚-言語-行動ポリシーに向けて
ロボットの身体構成の変化に対して同変性を持つように視覚-言語-行動ポリシーを設計し、新しい機体構成への汎化と効率的なファインチューニングを実現した研究。
原題: Toward Embodiment Equivariant Vision-Language-Action Policy / Anzhe Chen, Yifei Yang, Zhenjie Zhu 他
日本語で読む → - 論文VLAロボティクス
学ぶほど賢く枝刈り:微分可能なトークン枝刈りによる効率的な視覚-言語-行動モデル
VLAモデルの視覚トークンを微分可能なGumbel Softmaxで動的に枝刈りし、追加パラメータなしで計算量を削減しつつ成功率を向上させるLightVLAを提案。
原題: The Better You Learn, The Smarter You Prune: Towards Efficient Vision-language-action Models via Differentiable Token Pruning / Titong Jiang, Xuefeng Jiang, Yuan Ma 他
日本語で読む → - 論文VLAロボティクス
非一様時間スケジューリングと密ジャンプ積分によるロボット政策のフローマッチング
フローマッチング政策の推論時における多段積分の性能劣化を分析し、訓練時の非一様時間スケジューリングと推論時の密ジャンプ積分を提案して最大23.7%の性能向上を達成した。
原題: Dense-Jump Flow Matching with Non-Uniform Time Scheduling for Robotic Policies: Mitigating Multi-Step Inference Degradation / Zidong Chen, Zihao Guo, Peng Wang 他
日本語で読む → - 論文VLAロボティクス
LAD-VF: LLM自動微分による形式手法フィードバックを用いたファインチューニング不要のロボットプランニング
形式検証のフィードバックをプロンプト改善に活用し、モデルの再学習なしでLLMのロボット計画の安全性・仕様遵守を高めるフレームワークを提案。
原題: LAD-VF: LLM-Automatic Differentiation Enables Fine-Tuning-Free Robot Planning from Formal Methods Feedback / Yunhao Yang, Junyuan Hong, Gabriel Jacob Perin 他
日本語で読む → - 論文VLAロボティクス
OmniEVA: タスク適応型3Dグラウンディングと身体性考慮推論による汎用エンボディドプランナー
タスクに応じて3D情報の融合を切り替えるゲート付き機構と、ロボットの身体制約を推論に組み込む枠組みにより、実機で実行可能な計画を立てるエンボディドAIプランナーを提案。
原題: OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-aware Reasoning / Yuecheng Liu, Dafeng Chi, Shiguang Wu 他
日本語で読む → - 論文VLAロボティクス
見るために動き、動くために見る:拡散駆動の知覚-行動相互作用による適応的方策
拡散方策のノイズ予測勾配を行動誘導SDEに組み込み、知覚と行動を循環的に学習させるDP-AGを提案。シミュレーションと実機UR5で既存手法を上回った。
原題: Act to See, See to Act: Diffusion-Driven Perception-Action Interplay for Adaptive Policies / Jing Wang, Weiting Peng, Jing Tang 他
日本語で読む → - 論文VLAロボティクス
AutoDrive-R²: 自動運転VLAモデルの推論と自己反省能力を強化
自動運転向けVLAモデルに思考連鎖と強化学習を導入し、推論と自己反省を促すことで軌道計画の精度と解釈性を向上させた研究。
原題: AutoDrive-R$^2$: Incentivizing Reasoning and Self-Reflection Capacity for VLA Model in Autonomous Driving / Zhenlong Yuan, Chengxuan Qian, Jing Tang 他
日本語で読む →
PR・アフィリエイト広告
