論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA機械学習
報酬モデリング不要の大規模視覚言語モデルフィードバックによる方策学習
大規模視覚言語モデルに軌道ペアの選好を問い合わせ、報酬モデルを学習せずに直接方策を訓練する手法PLAREを提案し、ロボット操作タスクで有効性を示した。
原題: Policy Learning from Large Vision-Language Model Feedback without Reward Modeling / Tung M. Luu, Donghoon Lee, Younghwan Lee 他
日本語で読む → - 論文VLAロボティクス
分散型AIエージェントによる水中ロボットの認知的自律性
ROS 2上で分散型大規模言語モデルAIエージェントを統合し、水中ロボットに適応的な認知自律性を実現するアーキテクチャUROSAを提案・検証した論文。
原題: Distributed AI Agents for Cognitive Underwater Robot Autonomy / Markus Buchholz, Ignacio Carlucho, Michele Grimaldi 他
日本語で読む → - 論文VLA機械学習
マルチモーダル行動モデル評価・適応のためのオープンソースツールキットとベンチマークスイート
視覚・言語・行動を統合したマルチモーダル行動モデルを評価・適応するためのオープンソースベンチマーク「MultiNet」と関連ツールキットを提案し、1.3兆トークン超の複合データセットを提供する。
原題: An Open-Source Software Toolkit & Benchmark Suite for the Evaluation and Adaptation of Multimodal Action Models / Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury 他
日本語で読む → - 論文VLAロボティクス
RoboMonkey: VLAモデルのためのテスト時サンプリングと検証のスケーリング
VLAモデルのテスト時スケーリングを調査し、サンプリングと検証によりロバスト性を高めるフレームワークRoboMonkeyを提案。合成データで訓練したVLM検証器で行動を選択し、分布外タスクで25%の性能向上を実現。
原題: RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models / Jacky Kwok, Christopher Agia, Rohan Sinha 他
日本語で読む → - 論文VLAロボティクス
BridgeVLA: 視覚言語モデルによる効率的な3Dマニピュレーション学習のための入出力アラインメント
3D入力を複数の2D画像に投影し、2Dヒートマップで行動予測を行うことで、VLMを活用した3Dマニピュレーション学習を効率化する手法を提案。
原題: BridgeVLA: Input-Output Alignment for Efficient 3D Manipulation Learning with Vision-Language Models / Peiyan Li, Yixiang Chen, Hongtao Wu 他
日本語で読む → - 論文VLAロボティクス
RationalVLA:デュアルシステムを備えた合理的視覚言語行動モデル
曖昧・不可能な指示を拒否しつつ、実行可能な指示に基づくロボットアーム操作を行う二重システムの視覚言語行動モデルを提案し、新ベンチマークRAMAで評価した。
原題: RationalVLA: A Rational Vision-Language-Action Model with Dual System / Wenxuan Song, Jiayi Chen, Wenxue Li 他
日本語で読む → - 論文VLAロボティクス
テキスト指示に基づく効率的な個別検査計画の生成
VLMを活用し、テキスト記述から関心点を抽出して巡回順序を最適化し、航空・水中ビークルのための効率的な検査軌道を生成する手法を提案。
原題: Text-guided Generation of Efficient Personalized Inspection Plans / Xingpeng Sun, Zherong Pan, Xifeng Gao 他
日本語で読む → - 論文VLAロボティクス
SAFE: 視覚言語行動モデル向けマルチタスク故障検知
VLAの内部特徴からタスク失敗の可能性を予測する汎用的な故障検知器SAFEを提案し、未見タスクでも高精度・早期検知を実現した。
原題: SAFE: Multitask Failure Detection for Vision-Language-Action Models / Qiao Gu, Yuanliang Ju, Shengxiang Sun 他
日本語で読む → - 論文VLAロボティクス
CodeDiffuser: VLM生成コードによる曖昧な指示に対応する注意強化拡散ポリシー
VLMが自然言語指示を解釈してタスク固有のコードを生成し、そのコードから3D注意マップを作って拡散ポリシーを誘導することで、曖昧な指示下のロボットマニピュレーションを実現するフレームワーク。
原題: CodeDiffuser: Attention-Enhanced Diffusion Policy via VLM-Generated Code for Instruction Ambiguity / Guang Yin, Yitong Li, Yixuan Wang 他
日本語で読む → - 論文VLA機械学習
SmolVLA: 手頃で効率的なロボティクス向け視覚-言語-行動モデル
大規模VLMを小型化し、単一GPUで学習・民生GPU/CPUで動作する効率的なVLAモデルを提案。非同期推論で応答性を高め、10倍規模のモデルに匹敵する性能を実現した。
原題: SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics / Mustafa Shukor, Dana Aubakirova, Francesco Capuano 他
日本語で読む → - 論文VLAロボティクス
Robot-R1: ロボティクスにおける身体性推論を強化する強化学習
強化学習を用いてロボット制御のための身体性推論を改善するフレームワークを提案し、SFTを上回る性能を達成した。
原題: Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics / Dongyoung Kim, Sumin Park, Huiwon Jang 他
日本語で読む → - 論文VLAロボティクス
多段階ヒューマノイド操作のための階層的視覚言語プランニング
視覚言語モデルでスキル選択と完了判定を行う高レベル層、模倣学習による中間スキル層、強化学習による低レベル全身制御層からなる階層的枠組みを構築し、Unitree G1で多段階のピックアンドプレースを実現した。
原題: Hierarchical Vision-Language Planning for Multi-Step Humanoid Manipulation / André Schakkal, Ben Zandonati, Zhutian Yang 他
日本語で読む → - 論文VLAロボティクス
GRaD-Nav++:ガウスラディアンスフィールドと微分可能力学による視覚言語モデル駆動ドローン航法
3Dガウススプラッティングシミュレータと微分可能強化学習で訓練した軽量VLAモデルを機載し、自然言語指示に従ってリアルタイムにドローンを飛行させるフレームワークを提案。
原題: GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics / Qianzhong Chen, Naixiang Gao, Suning Huang 他
日本語で読む → - 論文VLAロボティクス
意図から実行へ:Vision-Language-Actionモデルの汎化境界を探る
VLAモデルの汎化能力を体系的に評価するため、言語・視覚・物体に関する50のシミュレーションタスクを用意し、最先端モデルが知覚や計画は得意でも、分布外の状況では動作実行が崩れることを示した。
原題: From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models / Irving Fang, Juexiao Zhang, Shengbang Tong 他
日本語で読む → - 論文VLAロボティクス
物体中心3Dモーションフィールドによる人間動画からのロボット学習
人間の動画から物体中心の3Dモーションフィールドを抽出し、ロボットのゼロショット制御を可能にするフレームワークを提案。ノイズの多い深度から頑健に動きを推定し、多様なタスクで高い成功率を達成。
原題: Object-centric 3D Motion Field for Robot Learning from Human Videos / Zhao-Heng Yin, Sherry Yang, Pieter Abbeel
日本語で読む → - 論文VLAロボティクス
Goal-VLA: 画像生成VLMを物体中心の世界モデルとして活用するゼロショットロボットマニピュレーション
画像生成型VLMを世界モデルとして使い、目標状態の画像を生成して物体姿勢を導出することで、追加学習なしに多様な操作タスクを実現するフレームワークを提案。
原題: Goal-VLA: Image-Generative VLMs as Object-Centric World Models Empowering Zero-shot Robot Manipulation / Haonan Chen, Jingxiang Guo, Bangjun Wang 他
日本語で読む → - 論文VLAロボティクス
EASE: 自己教師ありエネルギー最小化による身体性を伴う能動的イベント知覚
予測誤差とエントロピーを内在的シグナルとして自由エネルギー最小化を行い、時空間表現学習と身体制御を統合した自己教師ありフレームワークEASEを提案。注釈や外部報酬なしでイベントのセグメンテーション・要約・追跡を実現する。
原題: EASE: Embodied Active Event Perception via Self-Supervised Energy Minimization / Zhou Chen, Sanjoy Kundu, Harsimran S. Baweja 他
日本語で読む → - 論文自動運転/VLA画像認識
ReCogDrive:強化学習型認知フレームワークによるエンドツーエンド自動運転
VLMの運転知識を拡散プランナに注入し、DiffGRPOで安全性を強化する自動運転フレームワークを提案。NAVSIMとBench2Driveで最先端性能を達成。
原題: ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving / Yongkang Li, Kaixin Xiong, Xiangyu Guo 他
日本語で読む → - 論文VLA画像認識
一人称視点動画におけるゼロショット時間的インタラクション定位
一人称視点動画で人間と物体の把持動作のタイミングを、大規模視覚言語モデルと3D手の速度を活用してゼロショットで高精度に定位する手法EgoLocを提案した。
原題: Zero-Shot Temporal Interaction Localization for Egocentric Videos / Erhang Zhang, Junyi Ma, Yin-Dong Zheng 他
日本語で読む → - 論文VLAロボティクス
意味的デジタルツインによる言語モデルのロボット計画への接地
意味的デジタルツインと大規模言語モデルを組み合わせ、自然言語指示を環境情報に基づいて行動計画に変換し、失敗時には再計画を行うロボットタスク実行フレームワークを提案した。
原題: Grounding Language Models with Semantic Digital Twins for Robotic Planning / Mehreen Naeem, Andrew Melnik, Michael Beetz
日本語で読む → - 論文VLAロボティクス
CEED-VLA: 早期終了デコーディングを備えた一貫性視覚-言語-行動モデル
視覚-言語-行動モデルの推論を高速化するため、一貫性蒸留と早期終了デコーディングを導入し、4倍以上の加速を実現した。
原題: CEED-VLA: Consistency Vision-Language-Action Model with Early-Exit Decoding / Wenxuan Song, Jiayi Chen, Pengxiang Ding 他
日本語で読む → - 論文VLAロボティクス
能動的テスト時視覚言語ナビゲーション
不確実なナビゲーション結果に対するエピソード的フィードバックを用いたテスト時能動学習フレームワークATENAを提案し、混合エントロピー最適化と自己能動学習戦略で適応的な意思決定を実現した。
原題: Active Test-time Vision-Language Navigation / Heeju Ko, Sungjune Kim, Gyeongrok Oh 他
日本語で読む → - 論文VLAロボティクス
対話で飛ばす:PX4ベースのドローンエージェントに対する自然言語制御の実現
PX4・ROS 2・ローカルLLM/VLMを組み合わせ、ドローンを自然言語で操作できるオープンソースのエージェントフレームワークを構築し、シミュレーションと実機で複数モデルの性能を比較評価した。
原題: Taking Flight with Dialogue: Enabling Natural Language Control for PX4-based Drone Agent / Shoon Kit Lim, Melissa Jia Ying Chong, Jing Huey Khor 他
日本語で読む → - 論文VLAロボティクス
拡散ポリシーを潜在空間強化学習で操縦する
拡散ポリシーの潜在ノイズ空間に強化学習を適用し、実世界で効率的に自律適応させる手法DSRLを提案。
原題: Steering Your Diffusion Policy with Latent Space Reinforcement Learning / Andrew Wagenmaker, Mitsuhiko Nakamoto, Yunchu Zhang 他
日本語で読む → - 論文VLAロボティクス
ロボット視覚言語行動モデルへの敵対的攻撃
視覚言語行動モデル(VLA)にLLMのジェイルブレイク攻撃を適用し、ロボットの制御権を奪取できることを示した研究。
原題: Adversarial Attacks on Robotic Vision Language Action Models / Eliot Krzysztof Jones, Alexander Robey, Andy Zou 他
日本語で読む → - 論文VLAAI
拡散ポリシー高速化のためのブロック単位適応キャッシュ
拡散ポリシーの推論を、ブロック単位で中間特徴を適応的にキャッシュ・再利用することで、学習不要で高速化する手法を提案。
原題: Block-wise Adaptive Caching for Accelerating Diffusion Policy / Kangye Ji, Yuan Meng, Hanyun Cui 他
日本語で読む → - 論文VLAロボティクス
量子化LLMをロボティクスに統合するエッジAIフレームワークllama_ros
量子化された大規模言語モデルをROS 2ロボットに組み込み、限られた計算資源でも自然言語処理を活用できるようにするツールllama_rosを提案した。
原題: Integrating Quantized LLMs into Robotics Systems as Edge AI to Leverage their Natural Language Processing Capabilities / Miguel Á. González-Santamarta, Francisco J. Rodríguez-Lera, David Sobrín-Hidalgo 他
日本語で読む → - 論文VLAロボティクス
未来をプロンプトする:インタラクティブデジタルツインによるオープンワールドモデル予測制御
VLMの意味推論と物理的に接地したインタラクティブデジタルツインを組み合わせ、未来の観測をVLMに提示して最適な行動を選択するモデル予測制御フレームワークを提案。
原題: Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins / Chuanruo Ning, Kuan Fang, Wei-Chiu Ma
日本語で読む → - 論文VLAロボティクス
LeVERB: 潜在視覚言語指示によるヒューマノイド全身制御
ヒューマノイドの全身制御向けに、視覚言語ポリシーが潜在的な行動語彙を学習し、強化学習ベースの全身制御ポリシーがそれを実行する階層型フレームワークを提案。150以上のタスクを含む初のsim-to-real対応ベンチマークで評価し、単純な階層型VLAより7.8倍高い成功率を達成。
原題: LeVERB: Humanoid Whole-Body Control with Latent Vision-Language Instruction / Haoru Xue, Xiaoyu Huang, Dantong Niu 他
日本語で読む → - 論文VLAロボティクス
STAR: 回転拡張ベクトル量子化による多様なロボットスキル抽象化の学習
VQ-VAEのコードブック崩壊とスキル間因果関係の欠如を解決するため、回転拡張残差スキル量子化と因果スキルトランスフォーマーを組み合わせ、LIBEROベンチマークと実世界タスクで約12%の性能向上を達成した。
原題: STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization / Hao Li, Qi Lv, Rui Shao 他
日本語で読む →
PR・アフィリエイト広告
