論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
推論時経験からアフォーダンスを学ぶ視覚-言語-行動モデル
VLAモデルの低レベル方策を高レベルVLMと接続し、実行時の失敗経験を文脈に取り込んで反省・再計画することで、長期的タスクを遂行できるようにする手法LITENを提案。
原題: Learning Affordances at Inference-Time for Vision-Language-Action Models / Ameesh Shah, William Chen, Adwait Godbole 他
日本語で読む → - 論文VLAcs.CR
DropVLA: 視覚言語行動モデルに対する行動レベルバックドア攻撃
VLAモデルの微調整時に視覚トリガーを混ぜ、攻撃者が指定したタイミングで特定の行動(例:グリッパを開く)を実行させる行動レベルバックドア攻撃を提案し、実機でも検証した。
原題: DropVLA: An Action-Level Backdoor Attack on Vision-Language-Action Models / Zonghuan Xu, Jiayu Li, Yunhan Zhao 他
日本語で読む → - 論文VLAロボティクス
PFEA: 人間中心AIのためのLLMベース高レベル自然言語計画・フィードバック具現化エージェント
視覚言語モデルを活用し、音声対話・タスク計画・フィードバック評価を統合したロボット操作用エージェントを提案。シミュレーションと実環境で従来手法より28%高いタスク成功率を達成した。
原題: PFEA: An LLM-based High-Level Natural Language Planning and Feedback Embodied Agent for Human-Centered AI / Wenbin Ding, Jun Chen, Mingjia Chen 他
日本語で読む → - 論文自動運転VLAロボティクス
DiffVLA++:メトリック誘導アラインメントによる認知推論とエンドツーエンド運転の橋渡し
VLAモデルの認知推論とE2Eモデルの物理的実現可能性を、メトリック誘導の軌道スコアラで統合した自動運転フレームワークを提案。
原題: DiffVLA++: Bridging Cognitive Reasoning and End-to-End Driving through Metric-Guided Alignment / Yu Gao, Anqing Jiang, Yiru Wang 他
日本語で読む → - 論文VLAロボティクス
自己改善VLAのための反省ベースタスク適応
VLMの因果推論で失敗から報酬を自動生成し強化学習を加速、成功軌道の模倣で報酬ハッキングを防ぐ二経路フレームワークを提案。
原題: Reflection-Based Task Adaptation for Self-Improving VLA / Baicheng Li, Dong Wu, Zike Yan 他
日本語で読む → - 論文VLA機械学習
VLAモデルの視覚表現を劣化させない:OOD汎化のためのアラインメント
VLAモデルのファインチューニングで視覚表現が劣化する問題を分析し、視覚表現をアラインメントする簡便な手法でOOD汎化を改善した。
原題: Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization / Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky 他
日本語で読む → - 論文VLAロボティクス
ACG: フローベース視覚言語行動モデルのための行動一貫性ガイダンス
模倣学習で訓練されたVLAモデルの行動の一貫性を、訓練不要のテスト時ガイダンスで改善し、細かい操作タスクの成功率を高める手法を提案。
原題: ACG: Action Coherence Guidance for Flow-based Vision-Language-Action models / Minho Park, Kinam Kim, Junha Hyung 他
日本語で読む → - 論文VLAロボティクス
Butter-Bench:LLM制御ロボットの実践的知能を評価するベンチマーク
LLMが制御するロボットの実践的知能を評価するベンチマークを提案し、人間とLLMの性能差や空間計画・社会的理解の課題を明らかにした。
原題: Butter-Bench: Evaluating LLM Controlled Robots for Practical Intelligence / Callum Sharrock, Lukas Petersson, Hanna Petersson 他
日本語で読む → - 論文VLA機械学習
フローマッチング方策の強化学習ファインチューニングによる視覚言語行動モデルの改善
フローマッチングベースのVLAモデルに対し、重要度サンプリングを条件付きフローマッチング目的の変化で再定式化したFPOを提案し、オンライン強化学習による安定したファインチューニングを実現した。
原題: Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models / Mingyang Lyu, Yinqian Sun, Erliang Lin 他
日本語で読む → - 論文VLAロボティクス
ビデオ再計画による暗黙的な状態推定
ビデオベースの計画フレームワークにインタラクション時のデータを統合し、モデルパラメータをオンライン更新して失敗した計画を除外することで、暗黙的な状態推定を実現する手法を提案。
原題: Implicit State Estimation via Video Replanning / Po-Chen Ko, Jiayuan Mao, Yu-Hsiang Fu 他
日本語で読む → - 論文VLAロボティクス
X-VLA:ソフトプロンプト付きTransformerによるスケーラブルなクロスエンボディメント視覚言語行動モデル
多様なロボットのデータ源ごとに学習可能なソフトプロンプトを割り当てることで、異なる機体を横断して学習できる汎用VLAモデルX-VLAを提案し、6つのシミュレーションと3体の実機でSOTA性能を示した。
原題: X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model / Jinliang Zheng, Jianxiong Li, Zhihao Wang 他
日本語で読む → - 論文VLA画像認識
3Dシーングラフを用いた自動推論のための構造化インターフェース
LLMと3Dシーングラフを連携させて自然言語を接地する際、シーングラフ全体をテキスト化する代わりにグラフデータベースとCypherクエリを介して必要な部分だけを取得する手法を提案し、大規模シーングラフでの性能とトークン効率を改善した。
原題: Structured Interfaces for Automated Reasoning with 3D Scene Graphs / Aaron Ray, Jacob Arkin, Harel Biggie 他
日本語で読む → - 論文VLAロボティクス
MoTVLA: 高速・低速推論を統合した視覚-言語-行動モデル
事前学習済みVLMとドメイン専門家トランスフォーマーを組み合わせ、高速・低速の推論を統合してロボットの行動方策を学習するVLAモデルを提案。
原題: MoTVLA: A Vision-Language-Action Model with Unified Fast-Slow Reasoning / Wenhui Huang, Changhe Chen, Han Qi 他
日本語で読む → - 論文VLA画像認識
NavQ: 先見性を持つ視覚と言語によるナビゲーションのためのQモデル学習
大規模な未ラベル軌道データからQ学習でQモデルを訓練し、将来の情報を考慮した視覚と言語によるナビゲーションを実現する手法を提案。
原題: NavQ: Learning a Q-Model for Foresighted Vision-and-Language Navigation / Peiran Xu, Xicheng Gong, Yadong MU
日本語で読む → - 論文VLAロボティクス
GigaBrain-0: ワールドモデルを活用した視覚-言語-行動モデル
ワールドモデルで生成した多様なデータを活用し、実機データへの依存を抑えつつ汎化性能を高めたVLA基盤モデルを提案。RGBD入力と身体性Chain-of-Thoughtで長期的・移動を伴う器用な操作タスクの実世界性能を向上させた。
原題: GigaBrain-0: A World Model-Powered Vision-Language-Action Model / GigaBrain Team, Angen Ye, Boyuan Wang 他
日本語で読む → - 論文VLAロボティクス
実生活の人間活動動画を用いたロボットマニピュレーション向け視覚-言語-行動モデルのスケーラブル事前学習
人間の手の日常動画を自動解析してロボットのVLA学習データに変換し、100万エピソード規模のデータセットでモデルを事前学習することで、未知環境でのゼロショット性能と実機微調整時の成功率・汎化性能を向上させた。
原題: Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos / Qixiu Li, Yu Deng, Yaobo Liang 他
日本語で読む → - 論文VLAAI
MetaVLA:効率的な身体性適応のための統合メタ共訓練
多様なタスクを1段階の微調整に統合し、軽量なメタ学習で補助タスクを活用することで、VLAモデルの適応を高速化・低コスト化するフレームワークを提案。
原題: MetaVLA: Unified Meta Co-training For Efficient Embodied Adaption / Chen Li, Zhantao Yang, Han Zhang 他
日本語で読む → - 論文VLA画像認識
夢から想起へ:想像誘導型経験検索による記憶持続型視覚言語ナビゲーション
世界モデルが将来のナビゲーション状態を想像して検索クエリとし、視点に紐づけた観察と行動パターンの記憶から関連経験を選択的に引き出す記憶持続型VLN手法を提案。
原題: Dream to Recall: Imagination-Guided Experience Retrieval for Memory-Persistent Vision-and-Language Navigation / Yunzhe Xu, Yiyuan Pan, Zhe Liu
日本語で読む → - 論文VLAロボティクス
FailSafe: VLAモデルの失敗推論と回復
VLAモデルが実行中に遭遇する失敗を検出し、回復動作を生成できるようにする失敗生成・回復システムFailSafeを提案し、LLaVA-OV-7Bを微調整してロボットアームの失敗検出・回復性能を向上させた。
原題: FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models / Zijun Lin, Jiafei Duan, Haoquan Fang 他
日本語で読む → - 論文VLAロボティクス
VLAをリアルタイム速度で動かす
単一のコンシューマGPU上でpi0級のマルチビューVLAを30Hzのフレームレート・最大480Hzの軌道周波数で動作させる推論最適化手法を提案し、落下するペンを掴むタスクで100%の成功率を達成した。
原題: Running VLAs at Real-time Speed / Yunchao Ma, Yizhuang Zhou, Yunhuan Yang 他
日本語で読む → - 論文VLAロボティクス
InternVLA-M1: 空間誘導型視覚-言語-行動フレームワークによる汎用ロボットポリシー
空間グラウンディングを手がかりに「どこで行動するか」と「どう行動するか」を二段階で学習し、汎用ロボット制御を実現するVLAフレームワークを提案。
原題: InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy / Xinyi Chen, Yilun Chen, Yanwei Fu 他
日本語で読む → - 論文VLAcs.MA
CGoT:合成可能な思考グラフを用いた身体性マルチエージェントシステムのための新規推論機構
自動運転車がサービスロボットを目的地まで運び、ロボットがタスクを行う協調システムにおいて、LLMを活用した合成可能な思考グラフ(CGoT)による推論機構を提案し、その性能を実験的に検証した。
原題: CGoT: A Novel Inference Mechanism for Embodied Multi-Agent Systems Using Composable Graphs of Thoughts / Yixiao Nie, Yang Zhang, Yingjie Jin 他
日本語で読む → - 論文VLAロボティクス
RoboBench:マルチモーダル大規模言語モデルを身体化脳として評価する包括的ベンチマーク
マニピュレーションの意思決定を担う「身体化脳」としてのマルチモーダルLLMを、指示理解・知覚推論・汎化計画・アフォーダンス予測・失敗分析の5次元で評価するベンチマークを提案した。
原題: Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain / Yulin Luo, Chun-Kai Fan, Menghang Dong 他
日本語で読む → - 論文VLAロボティクス
NanoVLA:軽量汎用ロボットポリシーのための視覚言語理解を分離したルーティング
視覚と言語の融合を後段に分離し、長短アクションチャンキングと動的ルーティングを組み合わせることで、エッジデバイス上で最大52倍高速かつ98%少ないパラメータで動作する軽量VLAモデルを提案した。
原題: NanoVLA: Routing Decoupled Vision-Language Understanding for Nano-sized Generalist Robotic Policies / Jiahong Chen, Jing Wang, Long Chen 他
日本語で読む → - 論文VLAロボティクス
UNCAP: 不確実性誘導型ニューロシンボリック計画と自然言語通信による協調自動運転
自動運転車同士が自然言語メッセージで通信し、知覚の不確実性を明示的に考慮して協調計画を行う視覚言語モデルベースの手法を提案。通信帯域を削減しつつ安全性を向上させる。
原題: UNCAP: Uncertainty-Guided Neurosymbolic Planning Using Natural Language Communication for Cooperative Autonomous Vehicles / Neel P. Bhatt, Po-han Li, Kushagra Gupta 他
日本語で読む → - 論文VLAロボティクス
言語から運動へ:動作潜在ガイダンスによるリターゲティング不要なヒューマノイド制御
言語指示から直接ヒューマノイドの動作を生成するフレームワークRoboGhostを提案し、従来の動作デコード・リターゲティングを省略して低遅延かつ高精度な制御を実現した。
原題: From Language to Locomotion: Retargeting-free Humanoid Control via Motion Latent Guidance / Zhe Li, Cheng Chi, Yangyang Wei 他
日本語で読む → - 論文VLAロボティクス
生成的ロボット方策の実行時故障予測
生成的な模倣学習方策の実行時故障を、故障データなしで予測するFIPERを提案。OOD検出と行動不確実性を組み合わせ、成功ロールアウトで較正する。
原題: Failure Prediction at Runtime for Generative Robot Policies / Ralf Römer, Adrian Kobras, Luca Worbis 他
日本語で読む → - 論文VLAロボティクス
VLA^2: エージェントフレームワークで視覚言語行動モデルを強化し未知の概念操作を実現
OpenVLAを実行基盤とし、Web検索や物体検出などの外部モジュールを活用して未知物体の視覚・言語知識を補完するエージェントフレームワークを提案。LIBERO環境での新ベンチマークで、ハードレベル成功率を44.2%向上させた。
原題: VLA^2: Empowering Vision-Language-Action Models with an Agentic Framework for Unseen Concept Manipulation / Han Zhao, Jiaxuan Zhang, Wenxuan Song 他
日本語で読む → - 論文VLAAI
その場で考えるドローン:身体性AIによる緊急着陸判断
大規模視覚言語モデルを活用した身体性AIにより、ドローンが周囲の状況を解釈し、緊急時の安全な着陸判断を自律的に行えることを都市シミュレーションで示した研究。
原題: Drones that Think on their Feet: Sudden Landing Decisions with Embodied AI / Diego Ortiz Barbosa, Mohit Agrawal, Yash Malegaonkar 他
日本語で読む → - 論文VLA画像認識
WristWorld: 4D世界モデルによるロボットマニピュレーションのための手首視点映像生成
アンカー視点の映像から手首視点の映像を生成する4D世界モデルを提案し、VLAモデルのマニピュレーション性能を向上させた。
原題: WristWorld: Generating Wrist-Views via 4D World Models for Robotic Manipulation / Zezhong Qian, Xiaowei Chi, Yuming Li 他
日本語で読む →
PR・アフィリエイト広告
