論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/1/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
ユニバーサルアクションによる具現化基盤モデルの強化
多様なロボットの動作を共通の「ユニバーサルアクション空間」で表現し、異なる機体間でのデータ活用と汎化性能を高める具現化基盤モデルUniActを提案。0.5Bパラメータで14倍規模の既存モデルを上回る。
原題: Universal Actions for Enhanced Embodied Foundation Models / Jinliang Zheng, Jianxiong Li, Dongxiu Liu 他
日本語で読む → - 論文VLAロボティクス
EnerVerse: ロボットマニピュレーションのための身体化未来空間の想像
指示から未来の身体化空間を予測する生成ロボティクス基盤モデルを提案し、4Dガウススプラッティングと組み合わせてシミュレーションと実世界のギャップを縮め、高性能な操作を実現した。
原題: EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation / Siyuan Huang, Liliang Chen, Pengfei Zhou 他
日本語で読む → - 論文VLAロボティクス
UAVとLLMの融合:エージェント型低空モビリティへの展望
UAVと大規模言語モデル(LLM)の統合に関する研究動向を整理し、マルチモーダルデータや応用タスクを分類するとともに、自律的な知能を持つエージェント型UAVへのロードマップを提案したサーベイ論文。
原題: UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility / Yonglin Tian, Fei Lin, Yiduo Li 他
日本語で読む → - 論文VLA画像認識
大規模視覚言語モデルの最新動向:アラインメント、ベンチマーク、評価、課題に関するサーベイ
2025年までの主要な視覚言語モデル(VLM)のモデル情報、アーキテクチャの変遷とアラインメント手法、ベンチマークと評価指標、幻覚や公平性などの課題を体系的にまとめたサーベイ論文。
原題: A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges / Zongxia Li, Xiyang Wu, Hongyang Du 他
日本語で読む → - 論文VLAロボティクス
PO-GVINS: 姿勢のみ表現によるGNSS・視覚・慣性の密結合統合
視覚慣性システムに姿勢のみ表現を導入し、3D特徴点を状態から除外することで線形化誤差と次元爆発を回避し、GNSS生測定と整数アンビギュイティ解を統合したドリフトフリーな測位フレームワークを提案。
原題: PO-GVINS: Tightly Coupled GNSS-Visual-Inertial Integration with Pose-Only Representation / Zhuo Xu, Feng Zhu, Zihang Zhang 他
日本語で読む → - 論文VLA画像認識
VLMは自動運転に本当に使えるのか?信頼性・データ・評価指標の観点からの実証研究
自動運転向けVLMの信頼性を17設定・約2万フレームで評価するベンチマークDriveBenchを構築し、VLMが視覚ではなく一般知識やテキスト手がかりに依存しがちであることを明らかにした。
原題: Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives / Shaoyuan Xie, Lingdong Kong, Yuhao Dong 他
日本語で読む → - 論文VLA画像認識
自動運転における歩行者行動とシーン理解への視覚言語モデルの応用
大規模視覚言語モデルの知識を効率的な視覚ネットワークに蒸留し、歩行者の行動予測とシーン理解に適用することで、多様で包括的な意味属性の生成と予測精度の向上を実現した。
原題: Application of Vision-Language Model to Pedestrians Behavior and Scene Understanding in Autonomous Driving / Haoxiang Gao, Li Zhang, Yu Zhao 他
日本語で読む → - 論文VLAロボティクス
Shake-VLA: 視覚言語行動モデルによる双腕ロボットのカクテル調製システム
視覚・音声・言語モデルを統合したVLAシステムで、双腕ロボットが材料の検出・計量・混合作業を行い、カクテルを自動調製する。
原題: Shake-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Manipulations and Liquid Mixing / Muhamamd Haris Khan, Selamawit Asfaw, Dmitrii Iarchuk 他
日本語で読む → - 論文VLAロボティクス
オンライン強化学習による視覚言語行動モデルの改善
大規模視覚言語行動モデルをオンライン強化学習で改善する際の不安定性と計算負荷に対処するため、強化学習と教師あり学習を交互に繰り返すiRe-VLAフレームワークを提案し、シミュレーションと実機で有効性を検証した。
原題: Improving Vision-Language-Action Model with Online Reinforcement Learning / Yanjiang Guo, Jianke Zhang, Xiaoyu Chen 他
日本語で読む → - 論文VLA画像認識
MetaVQA:視覚言語モデルのための具現化シーン理解ベンチマーク
自動運転向けに、nuScenesとWaymoのデータからVQAペアを自動生成し、視覚言語モデルの空間推論と閉ループ意思決定を評価・改善するベンチマークMetaVQAを提案した。
原題: Embodied Scene Understanding for Vision Language Models via MetaVQA / Weizhen Wang, Chenda Duan, Zhenghao Peng 他
日本語で読む → - 論文VLAロボティクス
SpatialCoT:座標アライメントと思考連鎖による身体性タスク計画の空間推論強化
視覚言語モデルの空間推論能力を高めるため、座標の双方向アライメントと思考連鎖に基づく空間グラウンディングを組み合わせたSpatialCoTを提案し、ナビゲーションとマニピュレーションのタスクで従来手法を上回る性能を示した。
原題: SpatialCoT: Advancing Spatial Reasoning through Coordinate Alignment and Chain-of-Thought for Embodied Task Planning / Yuecheng Liu, Dafeng Chi, Shiguang Wu 他
日本語で読む → - 論文VLA自然言語
ロボットナビゲーションにおける言語と計画:最先端モデルの多言語評価
アラビア語を含む多言語の言語モデルを用いて、視覚と言語によるロボットナビゲーションの計画能力を評価した研究。
原題: Language and Planning in Robotic Navigation: A Multilingual Evaluation of State-of-the-Art Models / Malak Mansour, Ahmed Aly, Bahey Tharwat 他
日本語で読む → - 論文VLAロボティクス
SpatialVLA:視覚-言語-行動モデルのための空間表現の探求
ロボット操作における空間理解の重要性に着目し、3D位置エンコーディングと適応的行動グリッドを導入した視覚-言語-行動基盤モデルSpatialVLAを提案。110万件の実世界ロボットデータで事前学習し、ゼロショットでの操作や新環境への適応を実現した。
原題: SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model / Delin Qu, Haoming Song, Qizhi Chen 他
日本語で読む → - 論文VLAロボティクス
視覚を超えて:言語グラウンディングによる異種センサーでの汎用ロボット方策のファインチューニング
自然言語を共通のクロスモーダル基盤として用い、視覚・触覚・音声などの異種センサー入力を扱えるよう汎用ロボット方策をファインチューニングする手法FuSeを提案。実世界実験で成功率を20%以上向上させた。
原題: Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding / Joshua Jones, Oier Mees, Carmelo Sferrazza 他
日本語で読む → - 論文VLA画像認識
ロボティクス向け画像ベース地理推定:ブラックボックス視覚言語モデルは実用域に達したか
ブラックボックス設定の生成型視覚言語モデルを単体のゼロショット地理推定システムとして評価し、プロンプトやクエリ画像の変動に対する精度と一貫性を調査した。
原題: Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet? / Sania Waheed, Bruno Ferrarini, Michael Milford 他
日本語で読む → - 論文VLAロボティクス
UAV-VLA:大規模航空ミッション生成のための視覚言語行動システム
衛星画像とVLM・GPTを組み合わせ、テキスト指示から飛行経路と行動計画を生成するUAV向けシステムを提案。
原題: UAV-VLA: Vision-Language-Action System for Large Scale Aerial Mission Generation / Oleg Sautenkov, Yasheerah Yaqoot, Artem Lykov 他
日本語で読む → - 論文VLAロボティクス
VLM駆動型ビヘイビアツリーによる文脈認識型タスクプランニング
視覚言語モデル(VLM)を用いて、視覚条件を考慮したビヘイビアツリーを対話的に生成・編集し、視覚的に複雑な環境での文脈認識型ロボット動作を実現するフレームワークを提案。実世界のカフェ環境で検証した。
原題: VLM-driven Behavior Tree for Context-aware Task Planning / Naoki Wake, Atsushi Kanehira, Jun Takamatsu 他
日本語で読む → - 論文VLA機械学習
Vintix: 文脈内強化学習による汎用行動モデル
文脈内強化学習(ICRL)をスケールさせるため、クロスドメインで動作する固定の行動モデルを構築し、アルゴリズム蒸留が専門家蒸留に代わる有効な手法であることを示した。
原題: Vintix: Action Model via In-Context Reinforcement Learning / Andrey Polubarov, Nikita Lyubaykin, Alexander Derevyagin 他
日本語で読む → - 論文VLAロボティクス
FAST: 視覚言語行動モデルのための効率的な行動トークン化
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
原題: FAST: Efficient Action Tokenization for Vision-Language-Action Models / Karl Pertsch, Kyle Stachowicz, Brian Ichter 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる計画立案とロボット支援教育への応用
視覚言語モデル(VLM)を使い、初期状態の画像と目標状態の記述からPDDL問題を自動生成するImage2PDDLを提案し、ブロックワールドなどで評価した論文。
原題: Planning with Vision-Language Models and a Use Case in Robot-Assisted Teaching / Xuzhe Dang, Lada Kudláčková, Stefan Edelkamp
日本語で読む → - 論文VLAロボティクス
ピクセルから述語へ:事前学習済み視覚言語モデルによる記号的世界モデルの学習
事前学習済み視覚言語モデルを用いて画像から記号的な述語を抽出し、長期タスクの計画に使える抽象的世界モデルを少数の実演から学習する手法を提案。
原題: From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models / Ashay Athalye, Nishanth Kumar, Tom Silver 他
日本語で読む → - 論文VLAcs.AR
AI不確実性推定のための360 fJ/サンプルin-word GRNGを備えた65nmベイズニューラルネットワークアクセラレータ
SRAMメモリワード内にガウス乱数生成器を直接統合し、ベイズニューラルネットワークの不確実性推定をエッジで高速・低消費電力に実行するASICチップを開発した。
原題: A 65 nm Bayesian Neural Network Accelerator with 360 fJ/Sample In-Word GRNG for AI Uncertainty Estimation / Zephan M. Enciso, Boyang Cheng, Likai Pei 他
日本語で読む → - 論文VLA機械学習
PAE: 基盤モデルエージェントのための自律的スキル発見フレームワーク
基盤モデルエージェントが環境の文脈情報からタスクを自律的に提案し、VLMによる成功評価を報酬として強化学習でスキルを獲得する学習システムPAEを提案した。
原題: Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents / Yifei Zhou, Qianlan Yang, Kaixiang Lin 他
日本語で読む → - 論文VLA機械学習
自己回帰的特徴とアドバンテージ重み付けによる高精度な行動基盤モデル
強化学習の行動基盤モデルFBの課題である線形タスク表現を自己回帰的特徴で非線形化し、オフラインRL技術を組み合わせて性能を向上させた。
原題: Finer Behavioral Foundation Models via Auto-Regressive Features and Advantage Weighting / Edoardo Cetin, Ahmed Touati, Yann Ollivier
日本語で読む → - 論文VLAロボティクス
連合学習を用いたUAVの近接制御:人とロボットの協調領域に向けて
複数ドローンにLSTMと連合学習を組み込み、分散学習で人間の動作を認識・制御し、遮蔽を防ぎつつ96%以上の精度を実現した。
原題: Proximal Control of UAVs with Federated Learning for Human-Robot Collaborative Domains / Lucas Nogueira Nobrega, Ewerton de Oliveira, Martin Saska 他
日本語で読む → - 論文VLA画像認識
NoisyEQA: ノイズを含む質問に対する身体性質問応答のベンチマーク
実世界で発生する4種類のノイズを含む質問に対して、身体性質問応答エージェントのノイズ検出・訂正能力を評価するベンチマークNoisyEQAを提案し、自己訂正プロンプト機構と新評価指標を導入した。
原題: NoisyEQA: Benchmarking Embodied Question Answering Against Noisy Queries / Tao Wu, Chuhao Zhou, Yen Heng Wong 他
日本語で読む → - 論文VLAロボティクス
スコア・分布マッチング方策:マッチング蒸留による高速視覚運動方策
拡散方策をスコアマッチングと分布マッチングの二段階最適化で1ステップ生成器に変換し、6倍の推論高速化と高品質な行動生成を両立させた。
原題: Score and Distribution Matching Policy: Advanced Accelerated Visuomotor Policies via Matched Distillation / Bofang Jia, Pengxiang Ding, Can Cui 他
日本語で読む → - 論文VLAAI
後知恵プランナー:実体指示追従のための閉ループ少数ショットプランナー
大規模言語モデルを用いた実体指示追従タスクにおいて、POMDPとして定式化し、適応モジュールと後知恵手法を組み合わせた閉ループプランナーを提案。少数ショット設定で従来の教師ありエージェントに匹敵または凌駕する性能を実現した。
原題: Hindsight Planner: A Closed-Loop Few-Shot Planner for Embodied Instruction Following / Yuxiao Yang, Shenao Zhang, Zhihan Liu 他
日本語で読む → - 論文VLA画像認識
想像による計画:視覚と言語によるナビゲーションのためのエピソード的シミュレーションとエピソード的記憶
人間のエピソード的シミュレーションと記憶に着想を得て、エージェントが未来のシーンを想像しながら記憶を拡張するVLNアーキテクチャを提案し、SPLで最先端を達成した。
原題: Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation / Yiyuan Pan, Yunzhe Xu, Zhe Liu 他
日本語で読む → - 論文VLAロボティクス
GraphEQA: 3Dセマンティックシーングラフを用いたリアルタイム身体性質問応答
未知環境での身体性質問応答のため、リアルタイム3Dメトリックセマンティックシーングラフとタスク関連画像をマルチモーダルメモリとしてVLMに接地し、階層的計画で探索・回答する手法を提案。シミュレーションと実環境で成功率向上と計画ステップ削減を示した。
原題: GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering / Saumya Saxena, Blake Buchanan, Chris Paxton 他
日本語で読む →
PR・アフィリエイト広告
