論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
RoboFAC: ロボット失敗分析と修正のための包括的フレームワーク
ロボット操作の失敗を診断・修正するための大規模データセットと軽量マルチモーダルモデルを構築し、VLA制御の回復性能を向上させた。
原題: RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction / Zewei Ye, Weifeng Lu, Minghao Ye 他
日本語で読む → - 論文VLA画像認識
左脳から右脳へ:視覚と言語によるナビゲーションのための適応的テキストドリーマー
視覚と言語によるナビゲーション(VLN)において、LLMをベースに左脳(論理統合)と右脳(想像的予測)の二重分岐構造で将来の環境意味を言語形式で適応的に想像し、ナビゲーション専門モジュールと統合する手法を提案。R2Rベンチマークで少ないパラメータで最先端性能を達成。
原題: Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation / Pingrui Zhang, Yifei Su, Pengyuan Wu 他
日本語で読む → - 論文VLAロボティクス
グラウンディングからマニピュレーションへ:具現化ロボットシステムにおける基盤モデル統合のケーススタディ
ロボットシステム構築の3つのパラダイム(VLAモデル、VLMパイプライン、マルチモーダルLLMパイプライン)を、複雑な指示理解と物体操作の2つのケーススタディで評価し、汎化とデータ効率のトレードオフを明らかにした。
原題: From Grounding to Manipulation: Case Studies of Foundation Model Integration in Embodied Robotic Systems / Xiuchao Sui, Daiying Tian, Qi Sun 他
日本語で読む → - 論文VLAロボティクス
Genie Centurion:人間による巻き戻し・修正ガイダンスで実世界ロボット訓練を加速
失敗時に状態を巻き戻して人間が修正デモを行い、1人の操作者が複数ロボットを監督できるデータ収集手法を提案し、従来法より成功率を最大40%向上させた。
原題: Genie Centurion: Accelerating Scalable Real-World Robot Training with Human Rewind-and-Refine Guidance / Wenhao Wang, Jianheng Song, Chiming Liu 他
日本語で読む → - 論文VLAロボティクス
取扱説明書を読んで家電を操作するロボット
家電の取扱説明書を大規模視覚言語モデルで解釈し、記号的なモデルを構築して実際の操作に結びつけるロボットシステムApBotを提案した。
原題: Robot Operation of Home Appliances by Reading User Manuals / Jian Zhang, Hanbo Zhang, Anxing Xiao 他
日本語で読む → - 論文VLAロボティクス
ロボット基盤モデルのためのポリシー対比デコーディング
ロボット基盤モデルが学習する偽の相関を、物体マスク画像との行動確率分布の対比により訓練なしで補正し、汎化性能を向上させる手法を提案。
原題: Policy Contrastive Decoding for Robotic Foundation Models / Shihan Wu, Xu Luo, Ji Zhang 他
日本語で読む → - 論文VLAロボティクス
効率的な身体性推論のための学習戦略
ロボットのChain-of-Thought推論がなぜ有効かを分析し、軽量で高速な代替推論手法を提案した論文。
原題: Training Strategies for Efficient Embodied Reasoning / William Chen, Suneel Belkhale, Suvir Mirchandani 他
日本語で読む → - 論文VLAAI
神経記号的コンセプト
感覚入力と行動出力に基づく神経記号的コンセプトの語彙を用いて、継続学習と柔軟な推論が可能なエージェントを構築する概念中心の枠組みを提案。
原題: Neuro-Symbolic Concepts / Jiayuan Mao, Joshua B. Tenenbaum, Jiajun Wu
日本語で読む → - 論文VLAロボティクス
ChatVLA-2: 事前学習知識を活かしたオープンワールド身体推論を備える視覚-言語-行動モデル
VLMの能力を保持しつつロボット行動に変換するMoE型VLAモデルを提案し、ホワイトボードの数式を読んでカードを選ぶ課題などで数学・OCR・空間推論能力を示した。
原題: ChatVLA-2: Vision-Language-Action Model with Open-World Embodied Reasoning from Pretrained Knowledge / Zhongyi Zhou, Yichen Zhu, Junjie Wen 他
日本語で読む → - 論文VLA画像認識
大規模言語モデルは人間の動きをどれほど理解しているか?3Dアバター制御による事例研究
LLMに3Dアバターの動作計画を立てさせ、その高レベル計画と低レベル関節位置の精度を評価した。高レベルな身体動作の解釈は得意だが、正確な部位配置や多自由度の多段動作は苦手だと分かった。
原題: How Much Do Large Language Models Know about Human Motion? A Case Study in 3D Avatar Control / Kunhang Li, Jason Naradowsky, Yansong Feng 他
日本語で読む → - 論文VLAロボティクス
Spatial-LLaVA: 空間参照表現を用いた視覚理解のための大規模言語モデル強化
SUN-Spot v2.0データセットを構築し、空間参照表現を学習させたマルチモーダルLLM「Spatial-LLaVA」を提案。ゼロショット空間推論ベンチマークで3.15%の性能向上を達成した。
原題: Spatial-LLaVA: Enhancing Large Language Models with Spatial Referring Expressions for Visual Understanding / Xuefei Sun, Doncey Albin, Cecilia Mauceri 他
日本語で読む → - 論文VLAロボティクス
RFTF: 時間的フィードバックを用いた身体性エージェントの強化学習ファインチューニング
ロボット操作ラベルなしで時間情報から価値モデルを学習し、密な報酬を生成することで、VLAモデルの強化学習ファインチューニングを効率化する手法を提案。
原題: RFTF: Reinforcement Fine-tuning for Embodied Agents with Temporal Feedback / Junyang Shu, Zhiwei Lin, Yongtao Wang
日本語で読む → - 論文VLAロボティクス
CLAM: ラベルなし実演からのロボット学習のための連続潜在行動モデル
行動ラベルなしの観察列とタスク非依存のプレイデータのみから、自己教師ありダイナミクス予測で連続潜在行動を推論し、実機ロボットの制御方策を学習する手法を提案。
原題: CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations / Anthony Liang, Pavel Czempin, Matthew M. Hong 他
日本語で読む → - 論文VLAロボティクス
球面投影による3D同変視覚運動ポリシー学習
単眼RGB画像から球面に特徴を投影し、点群再構成なしでSO(3)同変な拡散ポリシーを学習する手法を提案。
原題: 3D Equivariant Visuomotor Policy Learning via Spherical Projection / Boce Hu, Dian Wang, David Klee 他
日本語で読む → - 論文VLAロボティクス
適応的ストレステストによるブラックボックスLLMプランナの摂動観測下でのロバスト性評価
LLMプランナのプロンプト表現やセンサノイズの摂動に対する挙動を調査し、適応的ストレステストとMCTSで失敗を引き起こす摂動を効率的に探索する手法を提案した。
原題: Characterizing the Robustness of Black-Box LLM Planners Under Perturbed Observations with Adaptive Stress Testing / Neeloy Chakraborty, John Pohovey, Melkior Ornik 他
日本語で読む → - 論文VLAAI
空間に根ざした合成世界によるロボットの身体性認知への挑戦
NVIDIA Omniverseで生成した合成データセットを用い、視覚言語モデルに視点取得(VPT)を学習させる枠組みを提案。まずはZ軸距離の推論に焦点を当てる。
原題: Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds / Joel Currie, Gioele Migno, Enrico Piacenti 他
日本語で読む → - 論文VLAロボティクス
基盤モデル搭載の空中・地上ロボットの実環境展開:課題と機会
LLMを活用した自律フレームワークSPINEを実環境のロボットに展開し、数キロ規模の非構造環境での大規模計画やオンボード小型言語モデルによるUAV計画を実証した。
原題: Deploying Foundation Model-Enabled Air and Ground Robots in the Field: Challenges and Opportunities / Zachary Ravichandran, Fernando Cladera, Jason Hughes 他
日本語で読む → - 論文VLAロボティクス
ReinboT: 強化学習でロボットの視覚言語マニピュレーションを強化
模倣学習ベースの視覚言語行動モデルに強化学習の累積報酬最大化を取り入れ、高密度リターン予測で混合品質データから頑健な操作方策を学習する手法を提案。
原題: ReinboT: Amplifying Robot Visual-Language Manipulation with Reinforcement Learning / Hongyin Zhang, Zifeng Zhuang, Han Zhao 他
日本語で読む → - 論文VLAロボティクス
LogisticsVLN: エージェント型UAVによる低高度ラストマイル配送のための視覚言語ナビゲーション
MLLMを活用し、要求理解・階層特定・物体検出・行動決定を組み合わせたUAV配送システムを提案し、CARLAシミュレータ上のVLDデータセットで有効性を検証した。
原題: LogisticsVLN: Vision-Language Navigation For Low-Altitude Terminal Delivery Based on Agentic UAVs / Xinyuan Zhang, Yonglin Tian, Fei Lin 他
日本語で読む → - 論文VLAロボティクス
ReFineVLA:推論を考慮した教師ガイド付き転移ファインチューニング
専門家モデルが生成した推論根拠でデータセットを拡張し、VLAモデルに行動の理由を考えさせるファインチューニング手法を提案。複雑な操作タスクでの汎化性能と解釈性を向上させた。
原題: ReFineVLA: Reasoning-Aware Teacher-Guided Transfer Fine-Tuning / Tuan Van Vo, Tan Quang Nguyen, Khang Minh Nguyen 他
日本語で読む → - 論文VLA画像認識
DOPE: 視覚と言語によるナビゲーションのためのデュアル物体知覚強化ネットワーク
視覚と言語によるナビゲーション(VLN)において、指示文から重要なフレーズを抽出し、物体と行動の詳細を活用するテキスト物体知覚強化と、異なるモダリティ間の物体関係をモデル化する画像物体知覚強化を組み合わせたDOPEを提案。
原題: DOPE: Dual Object Perception-Enhancement Network for Vision-and-Language Navigation / Yinfeng Yu, Dongsheng Yang
日本語で読む → - 論文VLAロボティクス
オフライン目標条件付き強化学習のための極値フローマッチング
フローマッチングの性質を利用して学習分布の最小値・最大値を推定し、目標条件付き模倣・強化学習アルゴリズムを構築。OGBenchとTalosヒューマノイドでの実機検証を行った。
原題: Extremum Flow Matching for Offline Goal Conditioned Reinforcement Learning / Quentin Rouxel, Clemente Donoso, Fei Chen 他
日本語で読む → - 論文VLAロボティクス
ManipBench:視覚言語モデルの低レベルロボット操作能力を評価するベンチマーク
視覚言語モデルが物体間の相互作用や変形物体の操作をどれだけ理解できるかを評価する新しいベンチマークManipBenchを提案し、33モデルをテストした。
原題: ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation / Enyu Zhao, Vedant Raval, Hejia Zhang 他
日本語で読む → - 論文VLAロボティクス
DriveSOTIF: マルチモーダル大規模言語モデルによる知覚SOTIFの高度化
自動運転の知覚におけるSOTIFリスクに対応するため、専用データセットでマルチモーダル大規模言語モデルをファインチューニングし、安全性リスクの特定精度を向上させた。
原題: DriveSOTIF: Advancing Perception SOTIF Through Multimodal Large Language Models / Shucheng Huang, Freda Shi, Chen Sun 他
日本語で読む → - 論文VLAロボティクス
Robo2VLM:大規模実世界ロボット操作データセットからの視覚的質問応答
ロボットの実軌道データから操作フェーズを切り出し、空間・目標・相互作用推論のVQAデータセットを自動生成するフレームワークを提案し、VLMの評価・改善に有効性を示した。
原題: Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets / Kaiyuan Chen, Shuangyu Xie, Zehan Ma 他
日本語で読む → - 論文VLAロボティクス
VLA-RL:スケーラブルな強化学習による汎用ロボットマニピュレーションの習得
事前学習済みVLAモデルをオンライン強化学習で改善し、スパース報酬をVLMベースの報酬モデルで補うことで、LIBEROの40タスクで最高性能を達成した。
原題: VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning / Guanxing Lu, Wenkai Guo, Chubin Zhang 他
日本語で読む → - 論文VLAロボティクス
想像・検証・実行:視覚言語モデルによる記憶誘導型エージェント探索
視覚言語モデルでシーンを想像し物理的妥当性を検証してから行動する探索フレームワークIVEを提案し、多様な探索と下流学習の性能向上を実現した。
原題: Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models / Seungjae Lee, Daniel Ekpo, Haowen Liu 他
日本語で読む → - 論文VLAロボティクス
Interleave-VLA:画像とテキストの交互入力でロボット操作を強化
画像とテキストを交互に与える指示でロボットを学習させ、未知の物体への汎化性能を2倍に高め、手描きスケッチなどの柔軟な指示にも対応できるVLAモデルを提案。
原題: Interleave-VLA: Enhancing Robot Manipulation with Interleaved Image-Text Instructions / Cunxin Fan, Xiaosong Jia, Yihang Sun 他
日本語で読む → - 論文VLAロボティクス
VISTA: 視覚と言語によるナビゲーションのための生成的視覚想像
拡散モデルを用いて言語指示に基づく未来の視覚イメージを生成し、現在の観測と整合させながら行動を決定するVLNフレームワークを提案。R2RとRoboTHORで最高性能を達成。
原題: VISTA: Generative Visual Imagination for Vision-and-Language Navigation / Yanjia Huang, Mingyang Wu, Renjie Li 他
日本語で読む → - 論文VLAロボティクス
オープンエンドなマルチモーダル指示で視覚-言語-行動モデルの可能性を解き放つ
言語だけでなく画像・手書き文字・動画などの多様な指示を入力できるVLAモデルOE-VLAを提案し、従来の言語指示と同等以上の性能と4種類の追加タスクでの有効性を示した。
原題: Unveiling the Potential of Vision-Language-Action Models with Open-Ended Multimodal Instructions / Wei Zhao, Gongsheng Li, Zhefei Gong 他
日本語で読む →
PR・アフィリエイト広告
