論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
MoIRA: マルチタスクロボティクス向けモジュール型インストラクションルーティングアーキテクチャ
既存のVLAモデルを専門家として組み合わせ、テキストベースの外部ルーターでゼロショットにタスクを振り分けるモジュール型MoEフレームワークを提案。ヒューマノイドやLIBEROベンチマークで汎用モデルを上回る性能を示した。
原題: MoIRA: Modular Instruction Routing Architecture for Multi-Task Robotics / Dmytro Kuzmenko, Nadiya Shvai
日本語で読む → - 論文VLA画像認識
VLM誘導による惑星規模の視覚的位置認識
VLMで候補地域を絞り込み、検索ベースの視覚的位置認識と再ランキングを組み合わせることで、地球規模の画像ジオローカリゼーション精度を向上させたハイブリッド手法を提案。
原題: VLM-Guided Visual Place Recognition for Planet-Scale Geo-Localization / Sania Waheed, Na Min An, Michael Milford 他
日本語で読む → - 論文VLAロボティクス
見て、集中して、行動する:人間の視線と周辺視型Vision Transformerによる効率的で頑健なロボット学習
人間の視線運動を模した能動的視覚システムGIAVAを開発し、注視点に基づく周辺視パッチトークン化をViTに組み込むことで、計算量を大幅に削減しつつ背景の妨害に対する頑健性と高精度タスクの成功率を向上させた。
原題: Look, Focus, Act: Efficient and Robust Robot Learning via Human Gaze and Foveated Vision Transformers / Ian Chuang, Jinyu Zou, Andrew Lee 他
日本語で読む → - 論文VLAcs.SE
視覚言語行動ロボットの不確実性と実行品質の評価
VLAロボットの操作タスクにおいて、タスク成功率だけでなく実行品質とモデルの自信を評価するため、8つの不確実性指標と5つの品質指標を適用し、人間の専門家による評価との相関を大規模実験で検証した。
原題: Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots / Pablo Valle, Chengjie Lu, Shaukat Ali 他
日本語で読む → - 論文自動運転/VLAロボティクス
NavigScene:視覚範囲を超えた自動運転のための局所知覚とグローバルナビゲーションの橋渡し
局所的な視覚情報とグローバルなナビゲーション情報を統合する補助データセットNavigSceneを提案し、ナビゲーション誘導の推論・選好最適化・視覚言語行動モデルの3手法で自動運転の知覚・予測・計画・QA性能を向上させた。
原題: NavigScene: Bridging Local Perception and Global Navigation for Beyond-Visual-Range Autonomous Driving / Qucheng Peng, Chen Bai, Guoxiang Zhang 他
日本語で読む → - 論文VLAロボティクス
villa-X:Vision-Language-Actionモデルにおける潜在行動モデリングの強化
VLA事前学習に潜在行動(2フレーム間の動きの抽象表現)を組み込み、その学習方法と統合方法を改善したViLLAフレームワークvilla-Xを提案。未見の身体でもゼロショットで潜在行動計画を生成でき、シミュレーションと実機のグリッパー・多指ハンド操作で高性能を示した。
原題: villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models / Xiaoyu Chen, Hangxing Wei, Pushi Zhang 他
日本語で読む → - 論文VLAロボティクス
LERa: 視覚フィードバックによる再計画で指示に従う
視覚言語モデルを用いて、生のRGB画像と指示・初期計画・失敗検知だけからシーンを記述し誤りを特定して計画を修正する再計画手法を提案し、動的環境や失敗を伴うタスクで成功率を大幅に改善した。
原題: LERa: Replanning with Visual Feedback in Instruction Following / Svyatoslav Pchelintsev, Maxim Patratskiy, Anatoly Onishchenko 他
日本語で読む → - 論文VLAロボティクス
DEMONSTRATE: マルチタスク実演学習によるゼロショット言語からロボット制御へ
言語指示とロボット実演をマルチタスク学習で結びつけ、LLMのプロンプト設計に頼らずにゼロショットで制御を生成する手法を提案。
原題: DEMONSTRATE: Zero-shot Language to Robotic Control via Multi-task Demonstration Learning / Rahel Rickenbach, Bruce Lee, René Zurbrügg 他
日本語で読む → - 論文VLA画像認識
SE-VLN: マルチモーダル大規模言語モデルに基づく自己進化型視覚言語ナビゲーションフレームワーク
マルチモーダルLLMを活用し、テスト中に経験から継続的に進化できる視覚言語ナビゲーションのフレームワークを提案。未見環境での成功率を大幅に向上させた。
原題: SE-VLN: A Self-Evolving Vision-Language Navigation Framework Based on Multimodal Large Language Models / Xiangyu Dong, Haoran Zhao, Jiang Gao 他
日本語で読む → - 論文VLAロボティクス
SkyVLN:都市環境におけるUAVのための視覚言語ナビゲーションとNMPC制御
大規模言語モデルを活用して自然言語指示と視覚情報からUAVを都市環境でナビゲートする枠組みを提案し、NMPCによる障害物回避と軌道追従を統合した。
原題: SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments / Tianshun Li, Tianyi Huai, Zhen Li 他
日本語で読む → - 論文VLAロボティクス
ロボットマニピュレーションにおける視覚言語行動モデル:系統的レビュー
視覚・言語・制御を統合するVLAモデル102件、基盤データセット26件、シミュレーション環境12件を体系的に整理し、アーキテクチャやデータの分類枠組みと今後の課題を示したレビュー論文。
原題: Vision Language Action Models in Robotic Manipulation: A Systematic Review / Muhayy Ud Din, Waseem Akram, Lyes Saad Saoud 他
日本語で読む → - 論文VLAロボティクス
VLMから時間的に一貫した報酬を学習なしで生成する手法
VLMを用いてサブゴールの状態変化を追跡し、ベイズ推定で報酬を生成することで、追加学習なしにロボット操作の強化学習を高精度化するフレームワークを提案。
原題: Training-free Generation of Temporally Consistent Rewards from VLMs / Yinuo Zhao, Jiale Yuan, Zhiyuan Xu 他
日本語で読む → - 論文VLAAI
二段階で考えよう:自己接地検証によるMLLMの同意バイアス緩和
マルチモーダルLLM検証器がエージェント行動を過剰に承認する「同意バイアス」を指摘し、望ましい行動の事前知識を自己生成してから評価する軽量手法SGVを提案。失敗検出を25ポイント改善した。
原題: Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification / Moises Andrade, Joonhyuk Cha, Brandon Ho 他
日本語で読む → - 論文VLAロボティクス
Think, Act, Learn:閉ループ大規模言語モデルによる自律ロボットエージェントのフレームワーク
LLMが計画・実行・自己反省を繰り返す閉ループ型フレームワークを提案し、ロボットが経験から自律的に学習して未知タスクにも適応できることを示した。
原題: Think, Act, Learn: A Framework for Autonomous Robotic Agents using Closed-Loop Large Language Models / Anjali R. Menon, Rohit K. Sharma, Priya Singh 他
日本語で読む → - 論文VLA画像認識
Talk2Event: イベントカメラによる動的シーンの言語接地理解
イベントカメラの非同期ストリームを言語と結びつける大規模ベンチマークTalk2Eventを構築し、属性を考慮した接地フレームワークEventReferを提案した。
原題: Talk2Event: Grounded Understanding of Dynamic Scenes from Event Cameras / Lingdong Kong, Dongyue Lu, Ao Liang 他
日本語で読む → - 論文VLAロボティクス
VLA-Touch:二段階の触覚フィードバックで視覚-言語-行動モデルを強化
ベースのVLAモデルを微調整せずに、触覚言語モデルによる高レベル計画と拡散ベース制御器による行動修正の二段階で触覚フィードバックを統合し、接触を伴うタスクの計画効率と実行精度を向上させた。
原題: VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback / Jianxin Bi, Kevin Yuchen Ma, Ce Hao 他
日本語で読む → - 論文VLAロボティクス
視覚運動エージェントの汎化可能な空間知能のためのスケーラブルなマルチタスク強化学習
Minecraft環境で大規模マルチタスク強化学習を行い、視覚運動エージェントが未見の世界や実世界設定へゼロショット汎化できることを示した。
原題: Scalable Multi-Task Reinforcement Learning for Generalizable Spatial Intelligence in Visuomotor Agents / Shaofei Cai, Zhancun Mu, Haiwen Xia 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる意味的観測を用いた閉ループUAV運用
UAVの数値的な状態観測を意味的な軌道記述に変換し、コード生成LLMと評価LLMのフィードバックループで信頼性の高いUAV運用コードを生成するフレームワークを提案。
原題: Large Language Model-Driven Closed-Loop UAV Operation with Semantic Observations / Wenhao Wang, Yanyan Li, Long Jiao 他
日本語で読む → - 論文自動運転/VLAロボティクス
LaViPlan:言語誘導視覚経路計画と検証可能報酬強化学習
自動運転のOODシナリオに対応するため、検証可能報酬強化学習(RLVR)で視覚言語モデルを微調整し、言語推論と行動レベルの軌道計画を整合させるフレームワークを提案。
原題: LaViPlan : Language-Guided Visual Path Planning with RLVR / Hayeon Oh
日本語で読む → - 論文VLAロボティクス
記憶の宮殿へ:長期的能動的 embodied 質問応答のための推論と計画
ロボットが過去の経験を記憶しつつ能動的に環境を探索し、時間に根ざした複雑な質問に答える新タスクLA-EQAを提案し、記憶の宮殿に着想を得たシーングラフベースの構造化記憶と情報価値に基づく停止基準で探索と想起のトレードオフを解決する手法を開発した。
原題: Enter the Mind Palace: Reasoning and Planning for Long-term Active Embodied Question Answering / Muhammad Fadhil Ginting, Dong-Ki Kim, Xiangyun Meng 他
日本語で読む → - 論文VLAロボティクス
VQ-VLA:ベクトル量子化アクショントークナイザのスケーリングによる視覚-言語-行動モデルの改善
大規模な行動軌跡データセットで学習したベクトル量子化アクショントークナイザを提案し、ゼロショットで多様なロボットタスクに適応可能で、長期的タスクの成功率を最大30%向上させた。
原題: VQ-VLA: Improving Vision-Language-Action Models via Scaling Vector-Quantized Action Tokenizers / Yating Wang, Haoyi Zhu, Mingyu Liu 他
日本語で読む → - 論文VLA自然言語
AI教育学:人工エージェントのための対話的社会学習
AI学習エージェントと教師エージェントが対話する「AIソーシャルジム」を構築し、対話的な教授法がオントロジー獲得を促進することを示した。
原題: AI Pedagogy: Dialogic Social Learning for Artificial Agents / Sabrina Patania, Luca Annese, Cansu Koyuturk 他
日本語で読む → - 論文VLAロボティクス
Octopi-1.5:視覚・触覚・言語モデルの実演
触覚信号を複数部位から処理し、RAGで新規物体を学習できる視覚・触覚・言語モデルOctopi-1.5を、手持ち型触覚デバイスTMIを通じて実演する。
原題: Demonstrating the Octopi-1.5 Visual-Tactile-Language Model / Samson Yu, Kelvin Lin, Harold Soh
日本語で読む → - 論文VLAロボティクス
EdgeVLA: エッジデバイス向け効率的な視覚-言語-行動モデル
エンドエフェクタ位置予測の自己回帰を排除し小型言語モデルを活用することで、視覚-言語-行動モデルの推論を高速化しエッジデバイスでのリアルタイム動作を可能にした。
原題: EdgeVLA: Efficient Vision-Language-Action Models / Paweł Budzianowski, Wesley Maa, Matthew Freed 他
日本語で読む → - 論文VLAロボティクス
VLMをロボット向けに:低レベル手順推論の自己批判的蒸留
小さな視覚言語モデルが外部教師なしで自己批判・修正・検証を繰り返し、ロボット実行可能な手順計画を生成する自己改善フレームワークを提案。
原題: Making VLMs More Robot-Friendly: Self-Critical Distillation of Low-Level Procedural Reasoning / Chan Young Park, Jillian Fisher, Marius Memmel 他
日本語で読む → - 論文VLA画像認識
Being-H0: 大規模人間動画からの視覚-言語-行動事前学習
大規模な人間の動画を活用し、巧みな操作を可能にする視覚-言語-行動モデルを事前学習する手法を提案。物理指示チューニングにより、実世界のロボット操作への転移性能を向上させた。
原題: Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos / Hao Luo, Yicheng Feng, Wanpeng Zhang 他
日本語で読む → - 論文VLAAI
VLMPlanner: 視覚言語モデルと運動計画の統合
視覚言語モデル(VLM)を自動運転の運動計画に組み込み、生画像から得た文脈情報でリアルタイムプランナを誘導するハイブリッド手法を提案。シーン複雑度に応じて推論頻度を調整する機構も導入した。
原題: VLMPlanner: Integrating Visual Language Models with Motion Planning / Zhipeng Tang, Sha Zhang, Jiajun Deng 他
日本語で読む → - 論文VLAロボティクス
視覚言語ナビゲーションにおける身体性ギャップの再考:物理的・視覚的格差の包括的研究
人型・四足・車輪ロボットに対応した物理的に現実的なVLN評価プラットフォームVLN-PEを提案し、既存のVLN手法が実機環境で性能劣化する要因を体系的に分析した。
原題: Rethinking the Embodied Gap in Vision-and-Language Navigation: A Holistic Study of Physical and Visual Disparities / Liuyi Wang, Xinyuan Xia, Hui Zhao 他
日本語で読む → - 論文VLAロボティクス
GR-3 汎用ロボットポリシー構築に向けた大規模VLAモデル
ウェブ規模の視覚言語データとVR収集の人間軌道データ、ロボット軌道データを組み合わせて訓練した大規模VLAモデルGR-3を開発し、両腕移動ロボットByteMiniと統合して新規物体・環境・長期タスクへの汎化性能を示した。
原題: GR-3 Technical Report / Chilam Cheang, Sijin Chen, Zhongren Cui 他
日本語で読む → - 論文VLA画像認識
再帰的視覚想像と適応的言語接地による視覚言語ナビゲーション
視覚言語ナビゲーションにおいて、履歴視覚情報を再帰的に要約し、言語命令と適応的に整合させることで、長系列のナビゲーション判断を改善する手法を提案した論文。
原題: Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation / Bolei Chen, Jiaxu Kang, Yifei Wang 他
日本語で読む →
PR・アフィリエイト広告
