論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA機械学習
大規模視覚言語モデルのフィードバックを活用する評価ベース強化学習の強化
大規模視覚言語モデルから軌道の絶対評価を得て報酬関数を学習するERL-VLMを提案し、データ不均衡やノイズに対処して従来手法を上回る性能を示した。
原題: Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models / Tung Minh Luu, Younghwan Lee, Donghoon Lee 他
日本語で読む → - 論文VLAロボティクス
Fast-in-Slow:高速操作と低速推論を統合するデュアルシステム基盤モデル
VLMベースの推論システムに実行モジュールを部分的にパラメータ共有して組み込み、高速かつ精密なロボット操作を実現する統合型VLAモデルを提案。
原題: Fast-in-Slow: A Dual-System Foundation Model Unifying Fast Manipulation within Slow Reasoning / Hao Chen, Jiaming Liu, Chenyang Gu 他
日本語で読む → - 論文VLAロボティクス
DyNaVLM: 動的視点と自己洗練グラフメモリを備えたゼロショット視覚言語ナビゲーションシステム
VLMを用いて、固定間隔に縛られず自由にナビゲーション目標を選べる視覚言語ナビゲーションを実現し、物体位置をトポロジカル関係として記憶する自己洗練グラフメモリで性能を高めた。
原題: DyNaVLM: Zero-Shot Vision-Language Navigation System with Dynamic Viewpoints and Self-Refining Graph Memory / Zihe Ji, Huangxuan Lin, Yue Gao
日本語で読む → - 論文VLAロボティクス
標識理解によるロボット自律ナビゲーション
ロボットが公共空間の案内標識を視覚言語モデルで解釈し、場所と方向を抽出するタスクを提案し、ベンチマークと評価指標を構築した。
原題: Sign Language: Towards Sign Understanding for Robot Autonomy / Ayush Agrawal, Joel Loo, Nicky Zimmerman 他
日本語で読む → - 論文VLAロボティクス
FreqPolicy: 周波数一貫性による効率的なフローベース視覚運動ポリシー
フローベースの視覚運動ポリシーに周波数領域の一貫性制約を導入し、時間的連続性を保ちながら1ステップでの高品質な行動生成を可能にした手法。
原題: FreqPolicy: Efficient Flow-based Visuomotor Policy via Frequency Consistency / Yifei Su, Ning Liu, Dong Chen 他
日本語で読む → - 論文VLAロボティクス
BitVLA: ロボットマニピュレーションのための1ビット視覚言語行動モデル
全てのパラメータを3値{-1,0,1}に量子化した1ビットVLAモデルを提案し、メモリを11倍削減しつつ全精度ベースラインと同等のマニピュレーション性能を実現した。
原題: BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation / Hongyu Wang, Chuyan Xiong, Ruiping Wang 他
日本語で読む → - 論文VLAロボティクス
DualMap: 動的に変化する環境での自然言語ナビゲーションのためのオンラインオープン語彙セマンティックマッピング
ロボットが自然言語クエリで動的に変化する環境を理解・ナビゲートできるよう、グローバル抽象マップとローカル具体マップを組み合わせたオンラインオープン語彙セマンティックマッピングシステムを提案した。
原題: DualMap: Online Open-Vocabulary Semantic Mapping for Natural Language Navigation in Dynamic Changing Scenes / Jiajun Jiang, Yiming Zhu, Zirui Wu 他
日本語で読む → - 論文VLAロボティクス
AMPLIFY: ロボット学習のためのアクションなし動き事前分布
アクションラベルなしの大規模動画からキーポイント軌跡を離散モーショントークンに符号化し、順動力学と逆動力学を分離して学習することで、ロボット方策の汎化性能を向上させるフレームワーク。
原題: AMPLIFY: Actionless Motion Priors for Robot Learning from Videos / Jeremy A. Collins, Loránd Cheng, Kunal Aneja 他
日本語で読む → - 論文VLA画像認識
FlySearch:視覚言語モデルの探索能力を探る
複雑な3D屋外環境で物体を探索・ナビゲートするベンチマークFlySearchを提案し、最先端の視覚言語モデルが単純な探索タスクでも人間に大きく劣ることを示した。
原題: FlySearch: Exploring how vision-language models explore / Adam Pardyl, Dominik Matuszek, Mateusz Przebieracz 他
日本語で読む → - 論文VLAロボティクス
ロボットナビゲーションと操作のためのマルチモーダル空間言語マップ
視覚・言語・音声の特徴を3D環境再構成に融合した空間マップを構築し、LLMと組み合わせて自然言語指示やマルチモーダルな目標を地図上に定位してロボットのナビゲーションと操作を可能にする手法を提案。
原題: Multimodal Spatial Language Maps for Robot Navigation and Manipulation / Chenguang Huang, Oier Mees, Andy Zeng 他
日本語で読む → - 論文VLAロボティクス
人間支援によるロボット政策の行動選好最適化
人間とのインタラクションから得た選好信号を用いてVLAモデルを事後的に改善するAPOを提案し、失敗からの学習を可能にした。
原題: Human-assisted Robotic Policy Refinement via Action Preference Optimization / Wenke Xia, Yichu Yang, Hongtao Wu 他
日本語で読む → - 論文VLAロボティクス
PSALM-V: 大規模言語モデルによる対話型視覚環境での記号計画の自動化
視覚環境での試行錯誤を通じて行動の事前・事後条件を自動学習し、LLMで記号計画を立案するシステムを提案。部分的観測下でも計画成功率を37%から74%に向上させた。
原題: PSALM-V: Automating Symbolic Planning in Interactive Visual Environments with Large Language Models / Wang Bill Zhu, Miaosen Chai, Ishika Singh 他
日本語で読む → - 論文自動運転/VLAロボティクス
VLM統合型実世界自動運転のための階層的テストプラットフォーム
VLMを組み込んだ自動運転システムを実世界の閉鎖コースで評価するため、低遅延ミドルウェアと知覚・計画・制御を分離した階層的テストプラットフォームを提案し、ケーススタディで有効性を示した。
原題: A Hierarchical Test Platform for Vision Language Model (VLM)-Integrated Real-World Autonomous Driving / Yupeng Zhou, Can Cui, Juntong Peng 他
日本語で読む → - 論文VLAロボティクス
One For All: LLMによる精密農業における異種ロボットミッションプランニング
大規模言語モデルとプリミティブを活用し、非専門家が自然言語で異種ロボットを制御できる精密農業向けミッションプランナーを提案。車輪ロボットに加えマニピュレーションや視覚タスクにも拡張し、多様なロボットで複雑な農業ミッションを実行可能なことを示した。
原題: One For All: LLM-based Heterogeneous Mission Planning in Precision Agriculture / Marcos Abel Zuzuárregui, Mustafa Melih Toslak, Stefano Carpin
日本語で読む → - 論文VLAロボティクス
RoboRefer: ロボティクス向け視覚言語モデルにおける推論を伴う空間指示
3D空間理解と多段階推論を可能にする視覚言語モデルRoboReferを提案し、大規模データセットRefSpatialとベンチマークRefSpatial-Benchを導入して、空間指示タスクで最先端性能を達成した。
原題: RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics / Enshen Zhou, Jingkun An, Cheng Chi 他
日本語で読む → - 論文VLA画像認識
統一視覚言語行動モデル
視覚・言語・行動を離散トークン列として自己回帰的にモデル化し、大規模動画から因果ダイナミクスを学習する統合VLAモデルUniVLAを提案。
原題: Unified Vision-Language-Action Model / Yuqi Wang, Xinghang Li, Wenxuan Wang 他
日本語で読む → - 論文VLAロボティクス
Robot-R1: ロボティクスにおける身体性推論を強化する強化学習
強化学習を用いてロボット制御のための身体性推論を改善するフレームワークを提案し、SFTを上回る性能を達成した。
原題: Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics / Dongyoung Kim, Sumin Park, Huiwon Jang 他
日本語で読む → - 論文VLAcs.NI
大規模言語モデルを活用した飛行ネットワークにおける自律UAV制御フレームワーク
オープンソースLLMとUAV自動操縦を統合し、自然言語指示からミッションコードを生成して自律制御を可能にするFLUCを提案・評価した。
原題: A Framework Leveraging Large Language Models for Autonomous UAV Control in Flying Networks / Diana Nunes, Ricardo Amorim, Pedro Ribeiro 他
日本語で読む → - 論文ベンチマーク/VLAロボティクス
PhyBlock: 3Dブロック組み立てによる物理理解と計画の段階的ベンチマーク
視覚言語モデルの物理理解と計画能力を評価するため、4段階の認知階層を持つ3Dブロック組み立てタスクとVQAを組み合わせたベンチマークを提案し、21モデルを評価した。
原題: PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly / Liang Ma, Jiajun Wen, Min Lin 他
日本語で読む → - 論文VLA画像認識
自動運転のための視覚-言語-行動モデルに関するサーベイ
自動運転向けの視覚・言語・行動を統合したVLAモデルについて、アーキテクチャや20以上の代表モデル、データセット、課題を初めて体系的にまとめたサーベイ。
原題: A Survey on Vision-Language-Action Models for Autonomous Driving / Sicong Jiang, Zilin Huang, Kangan Qian 他
日本語で読む → - 論文VLAロボティクス
LoHoVLA:長期的な身体タスクのための統合視覚言語行動モデル
大規模視覚言語モデルを基盤に、言語と行動トークンを統合生成し、階層的閉ループ制御で長期的身体タスクを遂行するVLAフレームワークを提案。
原題: LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks / Yi Yang, Jiaxuan Sun, Siqi Kou 他
日本語で読む → - 論文VLAロボティクス
類推による適応:機能的対応関係を介した視覚運動ポリシーの分布外汎化
視覚運動ポリシーが分布外の見た目に遭遇した際、専門家から「どの訓練時の観察が機能的に対応するか」というフィードバックを得ることで、新たな実演収集や再訓練なしに既存の行動を転移させる手法を提案した。
原題: Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence / Pranay Gupta, Henny Admoni, Andrea Bajcsy
日本語で読む → - 論文VLA画像認識
CDP: 因果拡散による堅牢な自己回帰視覚運動ポリシー学習
過去の行動系列を条件に加えることで、劣化した観測下でも高精度な操作を可能にするTransformerベースの拡散ポリシーを提案。
原題: CDP: Towards Robust Autoregressive Visuomotor Policy Learning via Causal Diffusion / Jiahua Ma, Yiran Qin, Yixiong Li 他
日本語で読む → - 論文VLAロボティクス
オープンボキャブラリ目標理解を備えたUAV向け接地視覚言語ナビゲーション
LLMとVLMを組み合わせ、機体の単眼カメラ映像のみから言語指示に従って連続速度指令を生成するUAVナビゲーションフレームワークVLFlyを提案し、未学習環境でも高い汎化性能を示した。
原題: Grounded Vision-Language Navigation for UAVs with Open-Vocabulary Goal Understanding / Yuhang Zhang, Haosheng Yu, Jiaping Xiao 他
日本語で読む → - 論文VLAAI
反復的な方策改善による大規模言語モデルを用いた感覚運動制御
LLMがエージェントの記述から制御方策を生成し、評価中の性能フィードバックと感覚運動データを用いて反復的に改善することで、連続観測を連続行動に写像する制御を実現する手法を提案した。
原題: Sensory-Motor Control with Large Language Models via Iterative Policy Refinement / Jônata Tyska Carvalho, Stefano Nolfi
日本語で読む → - 論文VLA画像認識
Da Yu:水上監視とシーン理解のためのUSV向け画像キャプショニング
水上環境の画像キャプションデータセットWaterCaptionを構築し、USV向けのエッジ展開可能なマルチモーダル大規模言語モデルDa Yuを提案した。
原題: Da Yu: Towards USV-Based Image Captioning for Waterway Surveillance and Scene Understanding / Runwei Guan, Ningwei Ouyang, Tianhao Xu 他
日本語で読む → - 論文VLAロボティクス
MinD: リアルタイム計画と暗黙的リスク分析のためのデュアルシステム世界モデルの学習
低頻度の映像生成と高頻度の拡散ポリシーを非同期に組み合わせ、単一ステップの潜在特徴でリアルタイムに行動計画とリスク予測を行う世界モデルを提案。
原題: MinD: Learning A Dual-System World Model for Real-Time Planning and Implicit Risk Analysis / Xiaowei Chi, Kuangzhi Ge, Jiaming Liu 他
日本語で読む → - 論文VLAロボティクス
DURA-CPS:LLM搭載サイバーフィジカルシステムの信頼性保証のためのマルチロールオーケストレータ
AI搭載CPSの検証・検証を自動化するため、安全監視やセキュリティ評価などの役割をエージェントに割り当てて反復的に信頼性を評価・改善するフレームワークを提案し、自動運転車の交差点走行のケーススタディで有効性を示した。
原題: DURA-CPS: A Multi-Role Orchestrator for Dependability Assurance in LLM-Enabled Cyber-Physical Systems / Trisanth Srinivasan, Santosh Patapati, Himani Musku 他
日本語で読む → - 論文VLA画像認識
VLA-OS:視覚言語行動モデルにおける計画表現とパラダイムの構造化と分析
VLAモデルの計画パラダイムと表現を統一的に比較するVLA-OSを提案し、視覚接地表現が言語表現より優れ、階層型VLAが性能・汎化・拡張性で優位だが速度が遅いことを示した。
原題: VLA-OS: Structuring and Dissecting Planning Representations and Paradigms in Vision-Language-Action Models / Chongkai Gao, Zixuan Liu, Zhenghao Chi 他
日本語で読む → - 論文VLAロボティクス
視覚ロボット計画のための自己改善ループ
ロボットタスクを解くための視覚計画モデルを、自己生成した軌跡で反復的に改善するSILVRを提案し、未見タスクでも性能が向上することを示した。
原題: Self-Improving Loops for Visual Robotic Planning / Calvin Luo, Zilai Zeng, Mingxi Jia 他
日本語で読む →
PR・アフィリエイト広告
