論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
SCREP: シーン座標回帰と証拠学習に基づく知覚認識型軌道生成
証拠学習ベースのシーン座標回帰による姿勢推定と、不確実性の低いシーン座標へカメラを向ける再帰ホライズン軌道最適化を組み合わせ、GPS拒否環境での自律飛行の位置推定精度を向上させる手法を提案。
原題: SCREP: Scene Coordinate Regression and Evidential Learning-based Perception-Aware Trajectory Generation / Juyeop Han, Lukas Lao Beyer, Guilherme V. Cavalheiro 他
日本語で読む → - 論文VLA画像認識
Talk2Event: イベントカメラによる動的シーンの言語接地理解
イベントカメラの非同期ストリームを言語と結びつける大規模ベンチマークTalk2Eventを構築し、属性を考慮した接地フレームワークEventReferを提案した。
原題: Talk2Event: Grounded Understanding of Dynamic Scenes from Event Cameras / Lingdong Kong, Dongyue Lu, Ao Liang 他
日本語で読む → - 論文VLAロボティクス
触覚VLA:視覚-言語-行動モデルの物理知識を触覚汎化へ解き放つ
視覚・言語・行動モデルに触覚センシングを融合し、接触を伴うタスクで力制御と触覚フィードバックに基づく適応的な行動を可能にするフレームワークを提案。
原題: Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization / Jialei Huang, Shuo Wang, Fanqi Lin 他
日本語で読む → - 論文VLAロボティクス
視覚-言語-行動モデルサーベイ:行動トークン化の観点から
視覚と言語の入力を行動トークンに変換して実行するVLAモデルを、行動トークンの種類(言語記述・コード・アフォーダンス・軌道など)で分類し、各手法の長所と課題を整理したサーベイ。
原題: A Survey on Vision-Language-Action Models: An Action Tokenization Perspective / Yifan Zhong, Fengshuo Bai, Shaofei Cai 他
日本語で読む → - 論文VLA画像認識
VOTE: 軌道アンサンブル投票による視覚-言語-行動モデルの最適化
VLAモデルの推論遅延と学習コストを削減するため、少ない行動トークンで並列生成する学習フレームワークと、過去と現在の予測を投票で統合する推論最適化を提案し、成功率と推論速度を大幅に向上させた。
原題: VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Voting / Juyi Lin, Amir Taherin, Arash Akbari 他
日本語で読む → - 論文自動運転/VLAロボティクス
適応的自律運転のための知覚・言語・行動統合フレームワーク
カメラ・LiDAR・レーダーのマルチセンサ融合とGPT-4.1による推論を組み合わせ、知覚から言語的理解を経て行動決定までを統合した自動運転フレームワークを提案。市街地交差点での評価で軌道追従や適応計画の性能向上を示した。
原題: A Unified Perception-Language-Action Framework for Adaptive Autonomous Driving / Yi Zhang, Erik Leo Haß, Kuo-Yi Chao 他
日本語で読む → - 論文VLA画像認識
DreamVLA: 包括的な世界知識を夢見る視覚-言語-行動モデル
動的・空間・意味情報を統合した世界知識予測により逆動力学モデリングを行い、知覚-予測-行動ループを実現する新しいVLAフレームワークを提案。
原題: DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge / Wenyao Zhang, Hongsi Liu, Zekun Qi 他
日本語で読む → - 論文VLAロボティクス
StreamVLN:スローファスト文脈モデリングによるストリーミング視覚言語ナビゲーション
視覚と言語の入力からリアルタイムに行動を生成するVLN向けに、高速な対話文脈と低速更新の記憶文脈を組み合わせたストリーミングフレームワークを提案し、低遅延で最先端性能を達成した。
原題: StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling / Meng Wei, Chenyang Wan, Xiqian Yu 他
日本語で読む → - 論文VLA画像認識
GaussianVLM: 言語対応ガウシアンスプラットによるシーン中心3D視覚言語モデル
3Dガウシアンスプラットに言語特徴を直接埋め込み、物体検出器に依存せずに3Dシーン理解と身体性推論を行う視覚言語モデルを提案した。
原題: GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond / Anna-Maria Halacheva, Jan-Nico Zaech, Xi Wang 他
日本語で読む → - 論文VLAロボティクス
FOUNDER: 世界モデルに基盤モデルを接地させたオープンエンド身体性意思決定
基盤モデルの知識と世界モデルのダイナミクスを統合し、報酬なしでテキストや動画で指定された多様なタスクを身体性環境で解くフレームワークを提案。
原題: FOUNDER: Grounding Foundation Models in World Models for Open-Ended Embodied Decision Making / Yucen Wang, Rui Yu, Shenghua Wan 他
日本語で読む → - 論文VLAロボティクス
RoboBrain 2.0 技術報告
視覚と言語を統合し、実環境での知覚・推論・計画を担う具現化基盤モデルRoboBrain 2.0を提案。7Bと32Bの2種類で、空間理解や時系列意思決定タスクで高い性能を示す。
原題: RoboBrain 2.0 Technical Report / BAAI RoboBrain Team, Mingyu Cao, Huajie Tan 他
日本語で読む → - 論文VLAロボティクス
潜在ポリシーステアリング:身体性に依存しない事前学習済み世界モデルによる方策改善
オプティカルフローを身体性に依存しない行動表現として世界モデルを事前学習し、対象身体性の少量デモで微調整して、ベース方策の行動候補を評価・選択することで模倣方策を改善する手法を提案。
原題: Latent Policy Steering with Embodiment-Agnostic Pretrained World Models / Yiqi Wang, Mrinal Verghese, Jeff Schneider
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによるHabitatロボティクスの評価
Meta PARTNERベンチマークを用いて、大規模言語モデルが協調ロボットタスクを解く能力を評価し、推論モデルが非推論モデルより優れることを示した。
原題: Evaluation of Habitat Robotics using Large Language Models / William Li, Lei Hamilton, Kaise Al-natour 他
日本語で読む → - 論文VLA画像認識
ThinkAct: 強化学習された視覚潜在計画による視覚-言語-行動推論
マルチモーダルLLMで行動整合的な視覚報酬を用いて推論計画を生成し、それを視覚潜在に圧縮して行動モデルを条件付ける二重システムフレームワークを提案。複雑な身体性AIタスクでの少数ショット適応や長期計画、自己修正を実現した。
原題: ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning / Chi-Pin Huang, Yueh-Hua Wu, Min-Hung Chen 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる意味的観測を用いた閉ループUAV運用
UAVの数値的な状態観測を意味的な軌道記述に変換し、コード生成LLMと評価LLMのフィードバックループで信頼性の高いUAV運用コードを生成するフレームワークを提案。
原題: Large Language Model-Driven Closed-Loop UAV Operation with Semantic Observations / Wenhao Wang, Yanyan Li, Long Jiao 他
日本語で読む → - 論文VLAAI
千脳システム:迅速で堅牢な学習と推論のための感覚運動知能
皮質コラムを模したモジュール群からなる千脳システムの初実装Montyを評価し、3D物体認識と姿勢推定において感覚運動学習による構造的表現と迅速な推論を実現することを示した。
原題: Thousand-Brains Systems: Sensorimotor Intelligence for Rapid, Robust Learning and Inference / Niels Leadholm, Viviane Clay, Scott Knudstrup 他
日本語で読む → - 論文VLA画像認識
VITA: 視覚から行動へのフローマッチングポリシー
視覚表現から直接潜在行動へ流すノイズ・条件付け不要のフローマッチング方策を提案し、行動オートエンコーダとフロー潜在デコーディングで学習を安定化、従来比1.5〜2倍高速な推論を実現した。
原題: VITA: Vision-to-Action Flow Matching Policy / Dechen Gao, Boqi Zhao, Andrew Lee 他
日本語で読む → - 論文VLAロボティクス
MoIRA: マルチタスクロボティクス向けモジュール型インストラクションルーティングアーキテクチャ
既存のVLAモデルを専門家として組み合わせ、テキストベースの外部ルーターでゼロショットにタスクを振り分けるモジュール型MoEフレームワークを提案。ヒューマノイドやLIBEROベンチマークで汎用モデルを上回る性能を示した。
原題: MoIRA: Modular Instruction Routing Architecture for Multi-Task Robotics / Dmytro Kuzmenko, Nadiya Shvai
日本語で読む → - 論文VLA画像認識
MindJourney:世界モデルによるテスト時スケーリングで空間推論を実現
VLMに動画拡散ベースの世界モデルを組み合わせ、テスト時に視点移動を探索させることで3D空間推論を強化するフレームワークを提案。
原題: MindJourney: Test-Time Scaling with World Models for Spatial Reasoning / Yuncong Yang, Jiageng Liu, Zheyuan Zhang 他
日本語で読む → - 論文VLAHCI
iLearnRobot:対話から継続的に学習するマルチモーダルロボット
非専門家との自然な対話を通じてロボットが継続的に学習・改善するMLLMベースの対話型ロボットシステムを提案し、質問連鎖と二重モダリティ検索で同じミスの繰り返しを防ぐ。
原題: iLearnRobot: An Interactive Learning-Based Multi-Modal Robot with Continuous Improvement / Kohou Wang, ZhaoXiang Liu, Lin Bai 他
日本語で読む → - 論文VLAロボティクス
憲法コントローラ:不確実環境下で規範に従うエージェントのための疑念校正ステアリング
深層確率論理プログラムと自己疑念の概念を組み合わせ、不確実な環境でも規則に従い安全に行動する自律エージェントを実現するフレームワークCoCoを提案し、実世界の空中移動実験で有効性を示した。
原題: The Constitutional Controller: Doubt-Calibrated Steering of Compliant Agents / Simon Kohaut, Felix Divo, Navid Hamid 他
日本語で読む → - 論文VLAロボティクス
視覚言語行動モデルにおける信頼度較正
視覚言語行動(VLA)基盤モデルの信頼度較正を初めて調査し、タスク成功と較正誤差の関係や時間変化を分析。プロンプトアンサンブルと行動別プラットスケーリングという軽量な改善手法を提案した。
原題: Confidence Calibration in Vision-Language-Action Models / Thomas P Zollo, Richard Zemel
日本語で読む → - 論文VLA画像認識
ロボット操作のための幾何学認識4D動画生成
複数視点の点群整合性を訓練時に監督することで、単一RGB-D画像から時空間的に整合した未来動画を生成し、ロボットの操作軌道復元に応用する4D動画生成モデルを提案。
原題: Geometry-aware 4D Video Generation for Robot Manipulation / Zeyi Liu, Shuang Li, Eric Cousineau 他
日本語で読む → - 論文VLA機械学習
行動的探索:インコンテキスト適応による探索の学習
専門家のデモデータを用いて、過去の観測と探索度合いを条件に行動を予測する長文脈生成モデルを訓練し、オンラインでの高速適応と効率的な探索を実現する手法を提案。
原題: Behavioral Exploration: Learning to Explore via In-Context Adaptation / Andrew Wagenmaker, Zhiyuan Zhou, Sergey Levine
日本語で読む → - 論文VLAロボティクス
時空間認識を組み込んだ視覚運動拡散ポリシー学習
動的ガウス世界モデルを用いて3D空間・4D時空間認識を拡散ポリシーに組み込み、シミュレーションと実機で成功率を向上させた視覚模倣学習手法。
原題: Spatial-Temporal Aware Visuomotor Diffusion Policy Learning / Zhenyang Liu, Yikai Wang, Kuanning Wang 他
日本語で読む → - 論文VLAロボティクス
cVLA: 効率的なカメラ空間VLAに向けて
視覚言語モデルを活用し、画像座標でエンドエフェクタの軌道ウェイポイントを直接予測する軽量なVLAを提案。シミュレーションで訓練し実機への転移性能を示した。
原題: cVLA: Towards Efficient Camera-Space VLAs / Max Argus, Jelena Bratulic, Houman Masnavi 他
日本語で読む → - 論文VLA画像認識
VLM誘導による惑星規模の視覚的位置認識
VLMで候補地域を絞り込み、検索ベースの視覚的位置認識と再ランキングを組み合わせることで、地球規模の画像ジオローカリゼーション精度を向上させたハイブリッド手法を提案。
原題: VLM-Guided Visual Place Recognition for Planet-Scale Geo-Localization / Sania Waheed, Na Min An, Michael Milford 他
日本語で読む → - 論文VLAロボティクス
見て、集中して、行動する:人間の視線と周辺視型Vision Transformerによる効率的で頑健なロボット学習
人間の視線運動を模した能動的視覚システムGIAVAを開発し、注視点に基づく周辺視パッチトークン化をViTに組み込むことで、計算量を大幅に削減しつつ背景の妨害に対する頑健性と高精度タスクの成功率を向上させた。
原題: Look, Focus, Act: Efficient and Robust Robot Learning via Human Gaze and Foveated Vision Transformers / Ian Chuang, Jinyu Zou, Andrew Lee 他
日本語で読む → - 論文VLAロボティクス
大規模シーングラフにおける汎用複数物体回収のためのLLMと動作計画の交互実行
大規模シーングラフ環境で複数の物体を複数箇所に運ぶ長期タスクに対し、LLMと動作計画を交互に実行する手法を提案し、従来比30%の性能向上を達成した。
原題: Interleaved LLM and Motion Planning for Generalized Multi-Object Collection in Large Scene Graphs / Ruochu Yang, Yu Zhou, Fumin Zhang 他
日本語で読む → - 論文VLAcs.SE
視覚言語行動ロボットの不確実性と実行品質の評価
VLAロボットの操作タスクにおいて、タスク成功率だけでなく実行品質とモデルの自信を評価するため、8つの不確実性指標と5つの品質指標を適用し、人間の専門家による評価との相関を大規模実験で検証した。
原題: Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots / Pablo Valle, Chengjie Lu, Shaukat Ali 他
日本語で読む →
PR・アフィリエイト広告
