論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
INTENTION:対話的直感と接地されたVLMによるヒューマノイドロボット動作の傾向推論
視覚言語モデルによるシーン推論と対話駆動型メモリを統合し、新しい環境でも人間のように直感的に操作行動を推論できるロボットフレームワークを提案。
原題: INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM / Jin Wang, Weijie Wang, Boyuan Deng 他
日本語で読む → - 論文VLAロボティクス
見えない指示もお任せ:対話的質問によるマルチモーダルな直示参照解決
音源定位・意味地図・VLM・GPT-4oによる対話的質問を組み合わせ、ロボットの視野外にいるユーザーや物体への曖昧な指示を解決するフレームワークMIELを提案した。
原題: Take That for Me: Multimodal Exophora Resolution with Interactive Questioning for Ambiguous Out-of-View Instructions / Akira Oyama, Shoichi Hasegawa, Akira Taniguchi 他
日本語で読む → - 論文VLAロボティクス
見たものから安全性をどう予測するか:画像制御自律性のための校正済み安全確率予測
画像入力で制御される自律システムに対し、ワールドモデルと変分オートエンコーダを用いて将来の潜在軌道を予測し、安全特性を満たす確率を校正して推定する枠組みを提案した論文。
原題: How Safe Will I Be Given What I Saw? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy / Zhenjiang Mao, Mrinall Eashaan Umasudhan, Ivan Ruchkin
日本語で読む → - 論文VLAロボティクス
コネクテッド自動運転車における深層マルチタスク学習のサーベイ
コネクテッド自動運転車(CAV)における深層マルチタスク学習(MTL)の初の包括的サーベイであり、知覚・予測・計画・制御・V2X通信・無線リソース管理の各領域におけるMTL手法を整理し、課題と展望を論じる。
原題: A Survey on Deep Multi-Task Learning in Connected Autonomous Vehicles / Jiayuan Wang, Farhad Pourpanah, Q. M. Jonathan Wu 他
日本語で読む → - 論文VLAロボティクス
D3P: 強化学習による動的デノイジング拡散ポリシー
拡散ポリシーの推論時、各行動に必要なデノイジングステップ数を状態に応じて動的に割り当てる軽量アダプタを強化学習で最適化し、成功率を維持しつつ最大2.2倍の高速化を実現した。
原題: D3P: Dynamic Denoising Diffusion Policy via Reinforcement Learning / Shu-Ang Yu, Feng Gao, Yi Wu 他
日本語で読む → - 論文VLAロボティクス
GhostShell: 具現化システムにおける並行行動プログラミングのためのストリーミングLLM関数呼び出し
LLMの生成ストリームから関数呼び出しを逐次解析し、マルチチャネルスケジューリングで複数ロボットコンポーネントの並行・並列動作を実現する手法を提案。実機33タスクで有効性を検証した。
原題: GhostShell: Streaming LLM Function Calls for Concurrent Embodied Programming / Jian Gong, Youwei Huang, Bo Yuan 他
日本語で読む → - 論文VLAロボティクス
Triple-S: ロボティクスにおける長期的含意タスクを解く協調型マルチLLMフレームワーク
複数のLLMが簡略化・解決・要約の役割を分担する閉ループで協調し、ロボット制御の長期的含意タスクの成功率と頑健性を高めるフレームワークを提案。
原題: Triple-S: A Collaborative Multi-LLM Framework for Solving Long-Horizon Implicative Tasks in Robotics / Zixi Jia, Hongbin Gao, Fashe Li 他
日本語で読む → - 論文VLAロボティクス
Embodied-R1: 汎用ロボット操作のための強化学習による身体性推論
「ポインティング」を身体性に依存しない中間表現として用い、3Bの視覚言語モデルを強化学習ファインチューニングで訓練することで、未知の環境や実機タスクへのゼロショット汎化を実現した研究。
原題: Embodied-R1: Reinforced Embodied Reasoning for General Robotic Manipulation / Yifu Yuan, Haiqin Cui, Yaoting Huang 他
日本語で読む → - 論文VLAロボティクス
実世界での人とロボットの協働に自然言語を活用する
物理世界で働くロボットに大規模言語モデルを統合し、自然言語で人間と協働させるための課題と、認知エージェントを核としたアプローチ、ChatGPTを用いた概念実証実験を紹介する。
原題: Using Natural Language for Human-Robot Collaboration in the Real World / Peter Lindes, Kaoutar Skiker
日本語で読む → - 論文VLAロボティクス
リアルタイム3D視覚言語埋め込みマッピング
視覚言語モデルの2次元埋め込みを、実時間でメートル精度の3次元表現に統合する手法を提案し、自然言語による対象物の位置特定を可能にした。
原題: Real-Time 3D Vision-Language Embedding Mapping / Christian Rauch, Björn Ellensohn, Linus Nwankwo 他
日本語で読む → - 論文VLAロボティクス
MemoryVLA: ロボット操作のための視覚-言語-行動モデルにおける知覚・認知記憶
人間の作業記憶と海馬の記憶機構に着想を得て、知覚・認知トークンを記憶バンクに蓄え再利用するVLAモデルを提案し、長期的な依存を含む操作タスクで従来手法を上回る成功率を達成した。
原題: MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation / Hao Shi, Bin Xie, Yingfei Liu 他
日本語で読む → - 論文VLAロボティクス
汎用ロボット方策におけるショートカット学習:データセットの多様性と断片化の役割
大規模ロボットデータセットで訓練された汎用方策が訓練分布外で汎化しにくい原因を分析し、タスク無関係な特徴に依存する「ショートカット学習」が主因であること、サブデータセットの多様性不足と分布の断片化がそれを助長することを示した。さらにデータ拡張でショートカット学習を軽減し汎化性能を改善できることを実証した。
原題: Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation / Youguang Xing, Xu Luo, Junlin Xie 他
日本語で読む → - 論文VLA画像認識
WeatherPrompt: 全天候ドローン視覚的自己位置推定のためのマルチモーダル表現学習
大規模マルチモーダルモデルで天候をテキスト化し、画像特徴と融合することで天候に不変なドローン位置推定を実現した研究。
原題: WeatherPrompt: Multi-modality Representation Learning for All-Weather Drone Visual Geo-Localization / Jiahao Wen, Hang Yu, Zhedong Zheng
日本語で読む → - 論文VLAAI
オープンエンド対話からの目標推論による柔軟なエージェントアラインメント
対話を通じてユーザーの目標を動的に推論し、LLMエージェントを柔軟にアラインメントする手法GOODを提案。買い物・家庭ロボティクス・コーディングの3領域で有効性を示した。
原題: Flexible Agent Alignment with Goal Inference from Open-Ended Dialog / Rachel Ma, Jingyi Qu, Andreea Bobu 他
日本語で読む → - 論文VLA画像認識
RynnEC:MLLMを身体性認知の世界へ
汎用視覚言語モデルに領域エンコーダとマスクデコーダを組み込み、領域中心の動画理解で物体属性・セグメンテーション・空間推論を高精度化した身体性認知向けMLLMを提案。
原題: RynnEC: Bringing MLLMs into Embodied World / Ronghao Dang, Yuqian Yuan, Yunxuan Mao 他
日本語で読む → - 論文VLAロボティクス
OmniVTLA: 触覚知覚を統合した視覚・触覚・言語・行動モデル
触覚センサの異種性に対応する二経路エンコーダと大規模触覚データセットObjTacを構築し、接触を伴う操作タスクで高い成功率を達成したVLAモデルを提案。
原題: OmniVTLA: Vision-Tactile-Language-Action Models with Semantic-Aligned Tactile Sensing / Zhengxue Cheng, Yiqian Zhang, Anni Tang 他
日本語で読む → - 論文VLAAI
何をする?不可能な指示を拒否するよう視覚-言語-行動モデルを教える
VLAモデルが環境に存在しない物体を参照する偽前提の指示を検出し、言語で確認・訂正して代替案を実行するInstruct-Verify-and-Actフレームワークを提案。
原題: Do What? Teaching Vision-Language-Action Models to Reject the Impossible / Wen-Han Hsieh, Elvis Hsieh, Dantong Niu 他
日本語で読む → - 論文VLAロボティクス
事前学習済みVLAポリシーをモデルベース探索で改善するVLAPS
事前学習済みVLAポリシーの行動事前分布でMCTSをバイアスし、言語条件付きロボットタスクの成功率を高める推論フレームワークを提案。
原題: Improving Pre-Trained Vision-Language-Action Policies with Model-Based Search / Cyrus Neary, Omar G. Younis, Artur Kuramshin 他
日本語で読む → - 論文VLAロボティクス
CO-RFT: チャンク型オフライン強化学習による視覚-言語-行動モデルの効率的ファインチューニング
VLAモデルをアクションチャンキング対応のオフライン強化学習でファインチューニングする手法を提案し、実環境で成功率57%向上・サイクルタイム22.3%短縮を達成した。
原題: CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning / Dongchi Huang, Zhirui Fang, Tianle Zhang 他
日本語で読む → - 論文VLAロボティクス
NaviMaster: GUIナビゲーションと身体性ナビゲーションを統合する統一ポリシーの学習
GUI操作と身体性ナビゲーションを同一のMDPとして捉え、視覚的軌跡収集と強化学習で単一のエージェントを訓練し、両タスクで高性能を達成した。
原題: NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks / Zhihao Luo, Wentao Yan, Jingyu Gong 他
日本語で読む → - 論文VLAロボティクス
P³: 汎用性の高い身体性エージェントに向けて
リアルタイム知覚と動的スケジューリングを統合し、ツールのフィードバックに依存せず多タスクを計画・実行する身体性エージェントの枠組みを提案し、能動的知覚のベンチマークATPを構築した。
原題: $\mathcal{P}^3$: Toward Versatile Embodied Agents / Shengli Zhou, Xiangchen Wang, Jinrui Zhang 他
日本語で読む → - 論文VLA自然言語
ROVER: 視覚言語モデルによる身体性タスクのための動画再帰推論
長い動画を短いサブタスクに再帰的に分割し、視覚言語モデルが局所的なフレーム列を正確に推論できるようにするフレームワークROVERを提案。ロボット操作動画でのタスク進捗推定や動画QAで性能を向上させた。
原題: ROVER: Recursive Reasoning Over Videos with Vision-Language Models for Embodied Tasks / Philip Schroeder, Ondrej Biza, Thomas Weng 他
日本語で読む → - 論文VLA機械学習
Spec-VLA:緩和された受理基準による視覚-言語-行動モデルの投機的デコーディング
視覚-言語-行動モデルの推論を高速化するため、行動トークン間の相対距離を利用して受理基準を緩和した投機的デコーディングフレームワークを提案し、成功率を維持しつつ1.42倍の高速化を実現した。
原題: Spec-VLA: Speculative Decoding for Vision-Language-Action Models with Relaxed Acceptance / Songsheng Wang, Rucheng Yu, Zhihang Yuan 他
日本語で読む → - 論文VLA画像認識
視覚言語基盤モデルによる歩行者意図予測
視覚言語基盤モデルと階層的プロンプトを用いて歩行者の横断意図を予測し、車速や時間情報の統合とプロンプト最適化により精度を最大19.8%向上させた研究。
原題: Pedestrian Intention Prediction via Vision-Language Foundation Models / Mohsen Azarmi, Mahdi Rezaei, He Wang
日本語で読む → - 論文VLAロボティクス
EgoVLA:自己中心視点の人間動画から視覚-言語-行動モデルを学習
一人称視点の人間動画でVLAモデルを訓練し、逆運動学とリターゲティングで人間の手の動きをロボット動作に変換、少数のロボット実演で微調整してロボットポリシーを獲得する手法を提案。
原題: EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos / Ruihan Yang, Qinxi Yu, Yecheng Wu 他
日本語で読む → - 論文VLAロボティクス
Evo-0: 暗黙的な空間理解を備えた視覚-言語-行動モデル
既存の視覚基盤モデルを活用し、RGB画像のみから3D幾何特徴を暗黙的に取り込むプラグアンドプレイモジュールを提案し、VLAモデルの空間理解能力を向上させた。
原題: Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding / Tao Lin, Gen Li, Yilei Zhong 他
日本語で読む → - 論文VLAロボティクス
協調手術ロボットのためのLLMによる自然言語指示の曖昧性検出
手術支援ロボットへの自然言語指示に含まれる曖昧さを、複数のLLM評価器とconformal predictionを組み合わせて検出するフレームワークを提案し、Llama 3.2やGemma 3で60%超の分類精度を達成した。
原題: LLM-based ambiguity detection in natural language instructions for collaborative surgical robots / Ana Davila, Jacinto Colan, Yasuhisa Hasegawa
日本語で読む → - 論文VLAロボティクス
MoIRA: マルチタスクロボティクス向けモジュール型インストラクションルーティングアーキテクチャ
既存のVLAモデルを専門家として組み合わせ、テキストベースの外部ルーターでゼロショットにタスクを振り分けるモジュール型MoEフレームワークを提案。ヒューマノイドやLIBEROベンチマークで汎用モデルを上回る性能を示した。
原題: MoIRA: Modular Instruction Routing Architecture for Multi-Task Robotics / Dmytro Kuzmenko, Nadiya Shvai
日本語で読む → - 論文VLAロボティクス
AirStar:音声とジェスチャーで操る知能ドローンアシスタント
大規模言語モデルを頭脳に、音声やジェスチャーで指示できるドローン「AirStar」を開発。地理空間知識と文脈推論を組み合わせ、バドミントンコートまで案内するなど、長距離ナビゲーションと近距離制御を実現した。
原題: "Hi AirStar, Guide Me to the Badminton Court." / Ziqin Wang, Jinyu Chen, Xiangyi Zheng 他
日本語で読む → - 論文VLAロボティクス
SCREP: シーン座標回帰と証拠学習に基づく知覚認識型軌道生成
証拠学習ベースのシーン座標回帰による姿勢推定と、不確実性の低いシーン座標へカメラを向ける再帰ホライズン軌道最適化を組み合わせ、GPS拒否環境での自律飛行の位置推定精度を向上させる手法を提案。
原題: SCREP: Scene Coordinate Regression and Evidential Learning-based Perception-Aware Trajectory Generation / Juyeop Han, Lukas Lao Beyer, Guilherme V. Cavalheiro 他
日本語で読む →
PR・アフィリエイト広告
