論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/9/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
AutoDrive-R²: 自動運転VLAモデルの推論と自己反省能力を強化
自動運転向けVLAモデルに思考連鎖と強化学習を導入し、推論と自己反省を促すことで軌道計画の精度と解釈性を向上させた研究。
原題: AutoDrive-R$^2$: Incentivizing Reasoning and Self-Reflection Capacity for VLA Model in Autonomous Driving / Zhenlong Yuan, Chengxuan Qian, Jing Tang 他
日本語で読む → - 論文VLAロボティクス
AnywhereVLA: 言語条件付き探索と移動マニピュレーション
未知の屋内環境で自然言語によるピックアンドプレースを実現するモジュール型移動マニピュレーションフレームワークを提案し、SLAMとVLAを組み合わせてエッジハードウェア上で46%の成功率を達成した。
原題: AnywhereVLA: Language-Conditioned Exploration and Mobile Manipulation / Konstantin Gubernatorov, Artem Voronov, Roman Voronov 他
日本語で読む → - 論文VLAロボティクス
PhysiAgent: 実世界で動作する身体性エージェントフレームワーク
VLMとVLAを監視・記憶・自己反省機構とツールボックスで統合し、VLAの能力を最大限に引き出す身体性エージェントフレームワークを提案。複雑な実世界ロボットタスクでの性能向上を実証した。
原題: PhysiAgent: An Embodied Agent Framework in Physical World / Zhihao Wang, Jianxiong Li, Jinliang Zheng 他
日本語で読む → - 論文VLAロボティクス
行動を言語として扱う:壊滅的忘却なしにVLMをVLAへ微調整する手法
ロボットの遠隔操作データを自然言語で表現することで、VLMの基盤能力を損なわずにLoRAのみでVLAへ微調整する手法を提案し、実世界実験でゼロショット汎化を実証した。
原題: Actions as Language: Fine-Tuning VLMs into VLAs Without Catastrophic Forgetting / Asher J. Hancock, Xindi Wu, Lihan Zha 他
日本語で読む → - 論文VLAロボティクス
GC-VLN: グラフ制約としての指示による学習不要の視覚言語ナビゲーション
人間の指示を空間制約の有向非巡回グラフに分解し、制約ソルバで経路を解くことで、学習なしに連続環境でロボットをナビゲートするフレームワークを提案した。
原題: GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation / Hang Yin, Haoyu Wei, Xiuwei Xu 他
日本語で読む → - 論文VLAロボティクス
RLBind: ロボット知覚のための敵対的摂動に頑健なクロスモーダル統合埋め込み
視覚・音声・熱・動画を統合するマルチモーダルエンコーダに対し、敵対的摂動と自然な劣化に強い埋め込みを学習する2段階のクロスモーダル整合フレームワークを提案し、ゼロショット性能を保ちつつロバスト性を向上させた。
原題: RLBind: Adversarial-Invariant Cross-Modal Alignment for Unified Robust Embeddings / Yuhong Lu
日本語で読む → - 論文VLAロボティクス
動作認識型動的プルーニングによる効率的なVision-Language-Actionマニピュレーション
ロボット操作の段階に応じて視覚トークンの冗長性が異なる点に着目し、動作軌跡に基づいてトークン保持率を適応的に調整するプルーニング手法を提案。計算量と遅延を削減しつつ成功率を維持する。
原題: Action-aware Dynamic Pruning for Efficient Vision-Language-Action Manipulation / Xiaohuan Pei, Yuxing Chen, Siyu Xu 他
日本語で読む → - 論文VLA画像認識
AsyMoE: モーダル非対称性を活用した大規模視覚言語モデルにおける専門家の特化
視覚と言語の処理の非対称性に着目し、モダリティ特化・双曲線的クロスモーダル・証拠優先の3種の専門家群で構成される新しいMoEアーキテクチャを提案し、精度向上とパラメータ削減を実現した。
原題: AsyMoE: Leveraging Modal Asymmetry for Enhanced Expert Specialization in Large Vision-Language Models / Heng Zhang, Haichuan Hu, Yaomin Shen 他
日本語で読む → - 論文VLAロボティクス
M3ET:マルチモーダルMamba強化Transformerによるロボティクス向け効率的視覚言語学習
Mambaモジュールと意味論的適応注意機構を組み合わせた軽量モデルM3ETを提案し、ロボットの視覚言語タスクで推論速度を2.3倍向上させつつパラメータ数を削減した。
原題: M3ET: Efficient Vision-Language Learning for Robotics based on Multimodal Mamba-Enhanced Transformer / Yanxin Zhang, Liang He, Zeyi Kang 他
日本語で読む → - 論文VLAロボティクス
見て、指して、飛ぶ:汎用無人航空ナビゲーションのための学習不要VLMフレームワーク
VLMを活用し、自由な言語指示を画像上の2Dウェイポイントに変換してドローンを閉ループ制御する、学習不要の航空視覚言語ナビゲーション手法を提案。
原題: See, Point, Fly: A Learning-Free VLM Framework for Universal Unmanned Aerial Navigation / Chih Yao Hu, Yang-Sen Lin, Yuna Lee 他
日本語で読む → - 論文VLAロボティクス
FLOWER: 効率的な視覚-言語-行動フローポリシーによる汎用ロボットポリシーの民主化
LLM層の削減とモジュラー適応でパラメータを抑えた9.5億パラメータのVLAモデルFLOWERを提案し、200GPU時間の事前学習で大規模モデルに匹敵する性能とCALVIN ABCベンチマークでのSoTAを達成した。
原題: FLOWER: Democratizing Generalist Robot Policies with Efficient Vision-Language-Action Flow Policies / Moritz Reuss, Hongyi Zhou, Marcel Rühle 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによるバイオニックハンド制御:物体認識と把持推論の評価
8つの視覚言語モデルを対象に、静止画像から物体の名前・形状・向き・寸法を認識し、把持タイプや手首回転・開口幅などの把持パラメータを推論する統一ベンチマークを構築し、その性能と限界を評価した。
原題: Using Visual Language Models to Control Bionic Hands: Assessment of Object Perception and Grasp Inference / Ozan Karaali, Hossam Farag, Strahinja Dosen 他
日本語で読む → - 論文VLAロボティクス
マルチモーダル領域適応によるロボットジェイルブレイク防止
テキストと画像の埋め込みを注意機構で融合し、汎用ジェイルブレイクデータをロボット分野のデータに適応させる軽量検出器J-DAPTを提案し、自動運転・海洋ロボティクス・四足歩行ナビゲーションでほぼ100%の検出精度を達成した。
原題: Preventing Robotic Jailbreaking via Multimodal Domain Adaptation / Francesco Marchiori, Rohan Sinha, Christopher Agia 他
日本語で読む → - 論文自動運転/VLAロボティクス
CoReVLA:長尾シナリオ向けの収集と洗練による二段階エンドツーエンド自動運転フレームワーク
長尾シナリオでの自動運転性能を向上させるため、VLAモデルをCAVEシミュレータで収集した人間の介入データとDPOで継続学習する二段階フレームワークを提案。
原題: CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine / Shiyu Fang, Yiming Cui, Haoyang Liang 他
日本語で読む → - 論文VLAロボティクス
Ask-to-Clarify: マルチターン対話による指示の曖昧性解消
VLAモデルに対話による曖昧性解消と視覚運動制御を統合したフレームワークを提案し、実世界11タスクで有効性を示した。
原題: Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue / Xingyao Lin, Xinghao Zhu, Tianyi Lu 他
日本語で読む → - 論文VLAロボティクス
検証可能な報酬による実世界ロボット操作のための強化学習型身体性プランニング
VLMに検証可能な報酬で微調整を施し、自然言語指示から長期的操作計画を生成・検証するフレームワークREVERとモデルRoboFarseerを提案した。
原題: Reinforced Embodied Planning with Verifiable Reward for Real-World Robotic Manipulation / Zitong Bo, Yue Hu, Jinming Ma 他
日本語で読む → - 論文VLAAI
エッジからクラウドGPUまでのVision-Language-Actionモデルのクロスプラットフォームスケーリング
5つの代表的なVLAモデルをエッジとデータセンターGPUで評価し、精度・遅延・スループット・メモリ使用量を測定してスケーリング傾向を明らかにした。
原題: Cross-Platform Scaling of Vision-Language-Action Models from Edge to Cloud GPUs / Amir Taherin, Juyi Lin, Arash Akbari 他
日本語で読む → - 論文VLAロボティクス
事前学習済み表現を保持してVision-Language-Actionモデルの汎化性能を向上
VLMから微調整したVLAモデルで、凍結エンコーダと文字列ベースの行動トークナイザ、空間推論データとの共訓練により、事前学習表現を保ちながらロボット操作の汎化性能を高めるフレームワークを提案。
原題: Enhancing Generalization in Vision-Language-Action Models by Preserving Pretrained Representations / Shresth Grover, Akshay Gopalkrishnan, Bo Ai 他
日本語で読む → - 論文VLAロボティクス
AssemMate: グラフベースLLMによるロボット組立支援
知識グラフを入力とするLLMで組立作業の対話支援と把持を実現し、従来比で高精度・高速・短コンテキストを達成した。
原題: AssemMate: Graph-Based LLM for Robotic Assembly Assistance / Qi Zheng, Chaoran Zhang, Zijian Liang 他
日本語で読む → - 論文VLAロボティクス
コードから行動へ:拡散VLMポリシーの階層的学習
コード生成VLMと低レベル拡散ポリシーを組み合わせ、タスクをサブルーチンに分解して模倣・汎化する階層的枠組みを提案。
原題: From Code to Action: Hierarchical Learning of Diffusion-VLM Policies / Markus Peschl, Pietro Mazzaglia, Daniel Dijkman
日本語で読む → - 論文VLAロボティクス
世界モデリングによる潜在行動の事前学習
ラベルなし動画から世界モデリングで潜在行動表現を自己教師あり学習し、模倣学習モデルを事前学習するフレームワークLAWMを提案。
原題: Latent Action Pretraining Through World Modeling / Bahey Tharwat, Yara Nasser, Ali Abouzeid 他
日本語で読む → - 論文VLAロボティクス
VLA-Reasoner: オンラインMCTSによる推論で視覚言語行動モデルを強化
VLAモデルにテスト時スケーリングを適用し、ワールドモデルとMCTSで将来状態を予測・探索することで長期的な操作タスクの性能を向上させるプラグイン手法を提案。
原題: VLA-Reasoner: Empowering Vision-Language-Action Models with Reasoning via Online Monte Carlo Tree Search / Wenkai Guo, Guanxing Lu, Haoyuan Deng 他
日本語で読む → - 論文VLAロボティクス
視覚言語行動モデルを内部表現から解釈・制御する機構的解釈可能性フレームワーク
VLAモデルの内部活性をトークン埋め込み基底に射影し、速度や方向などの意味的方向を同定して、微調整なしにリアルタイムで行動を制御する手法を提案した。
原題: Mechanistic interpretability for steering vision-language-action models / Bear Häon, Kaylene Stocking, Ian Chuang 他
日本語で読む → - 論文VLA画像認識
基盤モデルは段階的な身体性推論においてどれほど優れているか?
身体性環境での段階的推論能力を評価するFoMERベンチマークを提案し、主要な大規模マルチモーダルモデルの性能と限界を分析した。
原題: How Good are Foundation Models in Step-by-Step Embodied Reasoning? / Dinura Dissanayake, Ahmed Heakl, Omkar Thawakar 他
日本語で読む → - 論文VLAロボティクス
Omni-LIVO: 測光マイグレーションとESIKF融合による堅牢なRGBカラー多カメラ視覚慣性LiDARオドメトリ
多カメラの視覚・慣性・LiDARを密結合し、非重複視野間の測光一貫性を保つ直接位置合わせとESIKFの多視点更新により、広範囲で高精度な自己位置推定と色付き地図生成を実現した研究。
原題: Omni-LIVO: Robust RGB-Colored Multi-Camera Visual-Inertial-LiDAR Odometry via Photometric Migration and ESIKF Fusion / Yinong Cao, Chenyang Zhang, Xin He 他
日本語で読む → - 論文VLAロボティクス
RealMirror: 身体性AIのための包括的オープンソース視覚-言語-行動プラットフォーム
ヒューマノイドロボット向けのVLA研究を、実機なしでデータ収集・学習・推論まで行えるオープンソース基盤として構築し、ベンチマークとゼロショットSim2Real転移も実現した。
原題: RealMirror: A Comprehensive, Open-Source Vision-Language-Action Platform for Embodied AI / Cong Tai, Zhaoyu Zheng, Haixu Long 他
日本語で読む → - 論文VLAロボティクス
MimicDroid: 人間の遊び動画からの文脈内学習によるヒューマノイドロボット操作
人間の遊び動画のみを訓練データとして、ヒューマノイドが新しい操作タスクを数例の動画から効率的に学習できる文脈内学習手法を提案し、実世界で成功率を約2倍に向上させた。
原題: MimicDroid: In-Context Learning for Humanoid Robot Manipulation from Human Play Videos / Rutav Shah, Shuijing Liu, Qi Wang 他
日本語で読む → - 論文VLAロボティクス
ConEQsA: 並行・非同期な身体性質問のスケジューリングと応答
複数の質問が非同期に届く実環境向けに、緊急度を考慮して並行処理する身体性質問応答フレームワークとベンチマークを提案した。
原題: ConEQsA: Concurrent and Asynchronous Embodied Questions Scheduling and Answering / Haisheng Wang, Dong Liu, Weiming Zhi
日本語で読む → - 論文VLA画像認識
イベントカメラによる視覚的グラウンディング
イベントカメラデータを用いた言語駆動型物体グラウンディングのための大規模ベンチマークTalk2Eventを構築し、動的環境でのマルチモーダル知覚を可能にした。
原題: Visual Grounding from Event Cameras / Lingdong Kong, Dongyue Lu, Ao Liang 他
日本語で読む → - 論文VLAロボティクス
VLA-Adapter:小型Vision-Language-Actionモデルのための効果的なパラダイム
大規模VLMへの依存を減らし、0.5Bパラメータのバックボーンと軽量なPolicyモジュールでロボットデータの事前学習なしに高性能なVLAモデルを実現した研究。
原題: VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model / Yihao Wang, Pengxiang Ding, Lingxiao Li 他
日本語で読む →
PR・アフィリエイト広告
