論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA画像認識
JEPA-VLA:VLAモデルに動画予測埋め込みが必要な理由
動画で事前学習した予測埋め込み(V-JEPA 2)をVLAモデルに適応的に統合し、サンプル効率と汎化性能を大幅に向上させる手法を提案。
原題: JEPA-VLA: Video Predictive Embedding is Needed for VLA Models / Shangchen Miao, Ningya Feng, Jialong Wu 他
日本語で読む → - 論文VLAロボティクス
実時間マルチモーダルLLMとツール呼び出しによる状況依存的具現化対話のための現代システムレシピ
実時間マルチモーダルLLMと注意・能動知覚のためのツール群を組み合わせ、家庭的な6シナリオで対話品質とツール判断精度を評価した。
原題: A Modern System Recipe for Situated Embodied Human-Robot Conversation with Real-Time Multimodal LLMs and Tool-Calling / Dong Won Lee, Sarah Gillet, Louis-Philippe Morency 他
日本語で読む → - 論文VLAロボティクス
Sci-VLA: 科学実験の長期的タスクのためのエージェント型VLA推論プラグイン
科学実験の長期的タスクにおいて、VLAモデルが苦手とする原子タスク間の遷移をLLMエージェントが推論・補完し、追加学習なしで複合タスクを実行可能にする推論プラグインを提案。
原題: Sci-VLA: Agentic VLA Inference Plugin for Long-Horizon Tasks in Scientific Experiments / Yiwen Pang, Bo Zhou, Changjin Li 他
日本語で読む → - 論文VLAロボティクス
Xiaomi-Robotics-0:リアルタイム実行可能なオープンソース視覚言語行動モデル
大規模なロボット軌道と視覚言語データで事前学習し、非同期実行のための学習技術と展開時のタイムステップ調整により、民生用GPUで高速かつ滑らかなリアルタイム動作を実現したVLAモデルを提案。
原題: Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution / Rui Cai, Jun Guo, Xinze He 他
日本語で読む → - 論文VLA画像認識
CapNav: 能力条件付き屋内ナビゲーションにおける視覚言語モデルのベンチマーク
エージェントの移動能力(階段可否やサイズなど)を条件として、視覚言語モデルが複雑な屋内環境をナビゲートできるかを評価するベンチマークCapNavを提案し、13モデルを評価した。
原題: CapNav: Benchmarking Vision Language Models on Capability-conditioned Indoor Navigation / Xia Su, Ruiqi Chen, Benlin Liu 他
日本語で読む → - 論文VLA機械学習
DADP: ドメイン適応拡散ポリシー
拡散ポリシーにドメイン表現を組み込み、未知の遷移力学にゼロショット適応する制御手法を提案。
原題: DADP: Domain Adaptive Diffusion Policy / Pengcheng Wang, Qinghang Liu, Haotian Lin 他
日本語で読む → - 論文VLAロボティクス
マルチモーダル大規模言語モデルによる実時間状況推論
GPT-4oとTurtleBot 4を組み合わせ、家庭内の視覚情報から掃除開始の適切さを判断するシステムを構築し、文脈や価値観に基づく意思決定の可能性と課題を示した。
原題: Multimodal Large Language Models for Real-Time Situated Reasoning / Giulio Antonio Abbo, Senne Lenaerts, Tony Belpaeme
日本語で読む → - 論文VLAロボティクス
RISE: 構成可能な世界モデルによる自己改善ロボット方策
ロボット操作のための構成可能な世界モデルを提案し、想像空間での強化学習により実世界での安全性・コスト問題を回避しつつ、動的タスクで大幅な性能向上を実現した。
原題: RISE: Self-Improving Robot Policy with Compositional World Model / Jiazhi Yang, Kunyang Lin, Jinwei Li 他
日本語で読む → - 論文VLAロボティクス
順序付き行動トークン化(OAT)
連続的なロボット行動を、自己回帰生成に適した順序付きトークン列に変換する学習型トークナイザを提案し、シミュレーションと実機の20以上のタスクで従来手法を上回る性能と推論時の柔軟性を示した。
原題: OAT: Ordered Action Tokenization / Chaoqi Liu, Xiaoshen Han, Jiawei Gao 他
日本語で読む → - 論文VLA機械学習
自動運転VLM向け合成MCQAにおけるテキストバイアスの低減
自動運転向けVLM評価用の合成MCQAベンチマークに潜む言語的手がかりを除去し、視覚情報に基づく推論を強制する手法を提案した。
原題: Reducing Text Bias in Synthetically Generated MCQAs for VLMs in Autonomous Driving / Sutej Kulgod, Sean Ye, Sanchit Tanwar 他
日本語で読む → - 論文自動運転VLAロボティクス
表現の相補性からデュアルシステムへ:VLMと視覚専用バックボーンの協調によるエンドツーエンド運転
VLMと視覚専用エンコーダの表現を比較し、それぞれが得意な場面が異なることを示した上で、両者を組み合わせた運転モデルHybridDriveVLAを提案した。
原題: From Representational Complementarity to Dual Systems: Synergizing VLM and Vision-Only Backbones for End-to-End Driving / Sining Ang, Yuguang Yang, Chenxu Dang 他
日本語で読む → - 論文VLAロボティクス
SignVLA: 手話によるロボット操作を実現するグロス不要の視覚言語行動フレームワーク
手話のグロス注釈を必要とせず、指文字のジェスチャーを直接ロボットの動作指令に変換するリアルタイムVLAシステムを提案した。
原題: SignVLA: A Gloss-Free Vision-Language-Action Framework for Real-Time Sign Language-Guided Robotic Manipulation / Xinyu Tan, Ningwei Bai, Harry Gardener 他
日本語で読む → - 論文VLA画像認識
キルチェーンの合成:エッジ上での目標検証と戦術推論のためのゼロショットフレームワーク
軽量物体検出と小型視覚言語モデルを組み合わせ、動的な軍事環境でエッジロボティクスによる目標検証と戦術推論をゼロショットで実現する階層的フレームワークを提案し、合成動画で評価した。
原題: Synthesizing the Kill Chain: A Zero-Shot Framework for Target Verification and Tactical Reasoning on the Edge / Jesse Barkley, Abraham George, Amir Barati Farimani
日本語で読む → - 論文VLAロボティクス
ST-BiBench:双腕身体性タスクにおけるマルチストリーム・マルチモーダル協調のMLLMベンチマーク
双腕ロボットの身体性タスクを対象に、マルチモーダル大規模言語モデルの時空間的なマルチストリーム協調能力を評価する多層ベンチマークST-BiBenchを提案し、30以上のモデルを評価して高次推論と細粒度実行の乖離を明らかにした。
原題: ST-BiBench: Benchmarking Multi-Stream Multimodal Coordination in Bimanual Embodied Tasks for MLLMs / Xin Wu, Zhixuan Liang, Yue Ma 他
日本語で読む → - 論文VLA画像認識
視覚と言語:自動運転の安全性評価と計画のための新表現とAI
視覚言語モデルを自動運転に応用し、危険検知・軌道計画・言語指示による制約の3事例を検証した研究。
原題: Vision and Language: Novel Representations and Artificial intelligence for Driving Scene Safety Assessment and Autonomous Vehicle Planning / Ross Greer, Maitrayee Keskar, Angel Martinez-Sanchez 他
日本語で読む → - 論文VLA画像認識
QVLA: 視覚-言語-行動モデルの量子化におけるチャネルごとの重要度割り当て
VLAモデルの量子化を行動空間の感度に基づいてチャネル単位でビット幅を割り当てる手法を提案し、メモリ削減とタスク成功率の両立を実現した。
原題: QVLA: Not All Channels Are Equal in Vision-Language-Action Model's Quantization / Yuhao Xu, Yantai Yang, Zhenyang Fan 他
日本語で読む → - 論文VLAロボティクス
Vision-Language-Actionロボットのメタモルフィックテスト
VLAモデルを搭載したロボットのテストオラクル問題を緩和するため、メタモルフィック関係を提案し、入力変更が軌道に与える影響を評価する手法を検証した。
原題: Metamorphic Testing of Vision-Language Action-Enabled Robots / Pablo Valle, Sergio Segura, Shaukat Ali 他
日本語で読む → - 論文VLAロボティクス
自然言語コマンドの物体グラウンディングのための関係シーングラフ
3Dシーングラフに空間関係を追加することで、LLMが自然言語コマンドから対象物体を正しく特定できるかを検証した研究。
原題: Relational Scene Graphs for Object Grounding of Natural Language Commands / Julia Kuhn, Francesco Verdoja, Tsvetomila Mihaylova 他
日本語で読む → - 論文VLAロボティクス
HALO: 身体性マルチモーダル連鎖推論のための統合視覚-言語-行動モデル
テキスト推論・視覚的サブゴール予測・行動予測を統合したEM-CoT推論を可能にするVLAモデルHALOを提案し、シミュレーションと実環境でベースラインを上回る性能を示した。
原題: HALO: A Unified Vision-Language-Action Model for Embodied Multimodal Chain-of-Thought Reasoning / Quanxin Shou, Fangqi Zhu, Shawn Chen 他
日本語で読む → - 論文VLAロボティクス
ST4VLA: 視覚言語行動モデルのための空間誘導訓練
VLMに空間的な事前知識を組み込む二段階訓練でロボットの行動生成を改善し、SimplerEnvで新たなSOTAを達成した研究。
原題: ST4VLA: Spatially Guided Training for Vision-Language-Action Models / Jinhui Ye, Fangjing Wang, Ning Gao 他
日本語で読む → - 論文VLAロボティクス
より遠く、より賢く見る:VLM政策最適化のための価値誘導マルチパス反射
VLMを用いたロボット操作において、状態評価と行動生成を分離し、ビーム探索で複数の将来経路を探索するテスト時計算フレームワークを提案。信頼度に基づく早期終了で推論遅延を削減し、多段階操作タスクでの性能を向上させた。
原題: Seeing Farther and Smarter: Value-Guided Multi-Path Reflection for VLM Policy Optimization / Yanting Yang, Shenyuan Gao, Qingwen Bu 他
日本語で読む → - 論文VLAロボティクス
ProAct: 構造認識型能動応答のためのベンチマークとマルチモーダルフレームワーク
75タスク・91,581アノテーションからなる能動エージェント用ベンチマークProAct-75を構築し、タスクグラフとMLLMを活用したベースラインProAct-Helperを提案した。
原題: ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response / Xiaomeng Zhu, Fengming Zhu, Weijie Zhou 他
日本語で読む → - 論文VLAロボティクス
人間とロボットのインタラクションにおける大規模言語モデルを用いた映像と言語の統合アプローチ
Florence-2、Llama 3.1、Whisperを組み合わせ、音声指示によるロボットアーム操作を可能にするマルチモーダルHRIフレームワークを提案し、75%のコマンド実行精度を達成した。
原題: An Approach to Combining Video and Speech with Large Language Models in Human-Robot Interaction / Guanting Shen, Zi Tian
日本語で読む → - 論文VLAロボティクス
階層的マニピュレーション政策のための世界モデルのスケーリング
大規模事前学習済み世界モデルを高レベルプランナーとして用い、VLAを低レベル実行者とする階層的フレームワークを提案。未知物体や新規状況での汎化性能を大幅に向上させた。
原題: Scaling World Model for Hierarchical Manipulation Policies / Qian Long, Yueze Wang, Jiaxi Song 他
日本語で読む → - 論文VLAロボティクス
IG-RFT:長期的ロボット操作におけるVLAモデルのための対話誘導強化学習フレームワーク
流れベースのVLAモデルを対象に、対話状態に応じて探索を調整する強化学習とハイブリッド報酬を組み合わせ、長期タスクでの成功率を大幅に向上させた。
原題: IG-RFT: An Interaction-Guided RL Framework for VLA Models in Long-Horizon Robotic Manipulation / Zhian Su, Weijie Kong, Haonan Dong 他
日本語で読む → - 論文VLAロボティクス
AgentRob:仮想フォーラムエージェントから物理ロボットのハイジャックまで
オンラインフォーラムとLLMエージェント、物理ロボットをMCPで繋ぎ、フォーラム上の指示でロボットを操作・結果報告する枠組みを提案。
原題: AgentRob: From Virtual Forum Agents to Hijacked Physical Robots / Wenrui Liu, Yaxuan Wang, Xun Zhang 他
日本語で読む → - 論文VLAロボティクス
万物を導く一つのエージェント:明示的な世界表現によるMLLMの視覚言語ナビゲーション強化
MLLMを用いたナビゲーションで、低レベル空間推定と高レベル意味計画を分離し、インタラクティブな計量世界表現と反事実推論を導入することで、ゼロショットで最先端性能を達成し、実機移行も実証した。
原題: One Agent to Guide Them All: Empowering MLLMs for Vision-and-Language Navigation via Explicit World Representation / Zerui Li, Hongpei Zheng, Fangguo Zhao 他
日本語で読む → - 論文VLA画像認識
PoseVLA: 汎用ポーズ事前学習による汎化可能な視覚-言語-行動ポリシー
VLAモデルの特徴崩壊と学習効率の低さを解決するため、カメラ中心の統一空間で3D空間事前知識を抽出する事前学習と、ロボット固有の行動空間への適応を行う事後学習に分離したPose-VLAを提案。離散ポーズトークンにより多様な3Dデータと軌道データを統合し、RoboTwin 2.0で79.5%、LIBEROで96.0%の成功率を達成。
原題: PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies / Haitao Lin, Hanyang Yu, Jingshun Huang 他
日本語で読む → - 論文VLAロボティクス
MapDream:視覚言語ナビゲーションのためのタスク駆動型地図学習
視覚言語ナビゲーションにおいて、ナビゲーション目的に直接最適化されたBEV地図を自己回帰的に生成し、行動予測と統合学習するフレームワークを提案。
原題: MapDream: Task-Driven Map Learning for Vision-Language Navigation / Guoxin Lian, Shuo Wang, Yucheng Wang 他
日本語で読む → - 論文VLAロボティクス
FD-VLA:接触の多いマニピュレーションのための力蒸留視覚言語行動モデル
力センサを使わずに、視覚と言語から力覚を蒸留してVLAモデルに組み込み、接触を伴う器用な操作を可能にする手法を提案。
原題: FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation / Ruiteng Zhao, Wenshuo Wang, Yicheng Ma 他
日本語で読む →
PR・アフィリエイト広告
