論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/3/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
RAIDER: ツールを活用する大規模言語モデルエージェントによるロボット行動の問題検出・説明・回復
LLMと実世界のツールを組み合わせ、ロボットの行動問題を動的に検出・説明・回復するエージェントRAIDERを提案し、家庭環境シミュレーションと実機支援タスクで有効性を示した。
原題: RAIDER: Tool-Equipped Large Language Model Agent for Robotic Action Issue Detection, Explanation and Recovery / Silvia Izquierdo-Badiola, Carlos Rizzo, Guillem Alenyà
日本語で読む → - 論文VLA画像認識
COSMO: 選択的記憶の組み合わせによる低コスト視覚言語ナビゲーション
視覚言語ナビゲーション(VLN)において、状態空間モジュールとトランスフォーマーを統合し、選択的状態空間モジュール(RSSとCS3)を導入することで、高性能と低計算コストを両立する新アーキテクチャCOSMOを提案した。
原題: COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation / Siqi Zhang, Yanyuan Qiao, Qunbo Wang 他
日本語で読む → - 論文VLA画像認識
視覚的想像は視覚と言語によるナビゲーションエージェントを改善するか?
指示文に含まれるランドマークの視覚的想像を拡散モデルで生成し、VLNエージェントの追加モダリティとして与えることでナビゲーション性能が向上するかを検証した。
原題: Do Visual Imaginations Improve Vision-and-Language Navigation Agents? / Akhil Perincherry, Jacob Krantz, Stefan Lee
日本語で読む → - 論文VLA画像認識
HybridVLA:拡散と自己回帰を統合した視覚-言語-行動モデル
拡散モデルによる連続的な行動生成と自己回帰による文脈推論を単一の大規模言語モデル内で統合し、両者を協調的に学習・アンサンブルするロボット操作フレームワークを提案。
原題: HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model / Jiaming Liu, Hao Chen, Pengju An 他
日本語で読む → - 論文VLAロボティクス
到達可能性解析による形式保証付き安全なLLM制御ロボット
データ駆動型到達可能性解析を用いて、LLMが制御するロボットの安全性を形式的に保証するフレームワークを提案し、自律ナビゲーションとタスク計画で有効性を示した。
原題: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis / Ahmad Hafez, Alireza Naderi Akhormeh, Amr Hegazy 他
日本語で読む → - 論文VLA画像認識
DeepSeekは外科医のように推論できるか?ロボット支援手術における視覚言語理解の実証評価
DeepSeekモデルをロボット手術の視覚言語タスク(単語QA・視覚QA・詳細記述)で評価し、汎用マルチモーダルモデルより優れるが臨床要件には未達であることを示した実証研究。
原題: Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery / Boyi Ma, Yanguang Zhao, Jie Wang 他
日本語で読む → - 論文VLAロボティクス
MoRE: 四足歩行ロボットの視覚-言語-行動モデルにおける強化学習のスケーラビリティを解き放つ
四足歩行ロボット向けに、複数の低ランク適応モジュールを専門家として組み込んだスパース活性化の混合エキスパート型VLAモデルを提案し、強化学習で混合品質データから効率的に学習することで多様なタスク性能と汎化性を実現した。
原題: MoRE: Unlocking Scalability in Reinforcement Learning for Quadruped Vision-Language-Action Models / Han Zhao, Wenxuan Song, Donglin Wang 他
日本語で読む → - 論文VLAロボティクス
UAV-VLRR: 視覚言語情報を用いたNMPCによるUAV捜索救助の迅速応答
視覚言語モデルとLLMでシーンを解釈し、障害物回避機能付き非線形モデル予測制御でドローンを飛行させる捜索救助システムを開発し、既存の自動操縦や人間のパイロットより高速な応答を実現した。
原題: UAV-VLRR: Vision-Language Informed NMPC for Rapid Response in UAV Search and Rescue / Yasheerah Yaqoot, Muhammad Ahsan Mustafa, Oleg Sautenkov 他
日本語で読む → - 論文VLA画像認識
視覚言語モデルを活用したオープンボキャブラリ物体検出・追跡
VLMの記述力とオープンボキャブラリ検出・動画セグメンテーションを組み合わせ、動的環境で未知物体をリアルタイムにセグメンテーション・追跡する手法を提案。
原題: Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking / Bastian Pätzold, Jan Nogga, Sven Behnke
日本語で読む → - 論文VLAロボティクス
ManeuverGPT:LLMエージェントによる自動運転車のスタント制御
大規模言語モデルをエージェントとして用い、CARLAシミュレーション内でJターンなどの高難度スタント走行を生成・実行するフレームワークを提案。
原題: ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers / Shawn Azdam, Pranav Doma, Aliasghar Moj Arab
日本語で読む → - 論文VLAHCI
VRと2Dインターフェースが選好に基づくロボット学習における人間のフィードバックに与える影響
ロボットナビゲーションの選好学習において、VRと2Dインターフェースのどちらで人間のフィードバックを集めるかが、ユーザー体験や選好の一貫性、学習された方策に与える影響を大規模データセットで比較分析した研究。
原題: The Impact of VR and 2D Interfaces on Human Feedback in Preference-Based Robot Learning / Jorge de Heuvel, Daniel Marta, Simon Holk 他
日本語で読む → - 論文VLA画像認識
CoT-VLA:視覚的思考連鎖推論を用いた視覚-言語-行動モデル
将来の画像フレームを視覚的目標として自己回帰的に予測してから行動系列を生成することで、視覚的思考連鎖推論をVLAに組み込み、実世界タスクで17%の性能向上を達成した。
原題: CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models / Qingqing Zhao, Yao Lu, Moo Jin Kim 他
日本語で読む → - 論文VLAロボティクス
VLAモデルと専門家の協調による双方向マニピュレーション学習
VLAモデルと人間の専門家が協調してマニピュレーションを行い、互いのデータから学習し合う双方向ループを提案し、タスク成功率とBCI操作効率の向上を実証した。
原題: VLA Model-Expert Collaboration for Bi-directional Manipulation Learning / Tian-Yu Xiang, Ao-Qun Jin, Xiao-Hu Zhou 他
日本語で読む → - 論文VLAロボティクス
PhysVLM: 視覚言語モデルにロボットの物理的可到達性を理解させる
ロボットの可到達性を汎用的に表現するS-Pマップを導入し、それを視覚言語モデルに組み込むことで、実環境での embodied 推論精度を向上させた研究。
原題: PhysVLM: Enabling Visual Language Models to Understand Robotic Physical Reachability / Weijie Zhou, Manli Tao, Chaoyang Zhao 他
日本語で読む → - 論文ヒューマノイド/VLAロボティクス
Trinity: モジュール型ヒューマノイドロボットAIシステム
強化学習・大規模言語モデル・視覚言語モデルを統合し、複雑な環境でヒューマノイドロボットを効率的に制御するAIシステムTrinityを提案した。
原題: Trinity: A Modular Humanoid Robot AI System / Jingkai Sun, Qiang Zhang, Gang Han 他
日本語で読む → - 論文VLAロボティクス
低コストデータでロボットマニピュレーションの汎化を促進
大規模作業空間での空間推論フェーズに着目し、低コストで収集可能なデータを活用してVLAモデルの汎化性能を高めるフレームワークを提案。
原題: Boosting Robotic Manipulation Generalization with Minimal Costly Data / Liming Zheng, Feng Yan, Fanfan Liu 他
日本語で読む → - 論文VLA画像認識
自動運転におけるマルチモーダル大規模言語モデルのシナリオ理解を能力駆動で評価する枠組み
自動運転向けMLLMのシナリオ理解を、意味・空間・時間・物理の4能力軸で体系的に評価する枠組みを提案し、実交通シナリオで適用例を示した。
原題: A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving / Tin Stribor Sohn, Philipp Reis, Maximilian Dillitzer 他
日本語で読む → - 論文VLAロボティクス
RoboFlamingo-Plus:深度とRGBの知覚を融合した視覚言語モデルによるロボットマニピュレーションの強化
既存のRoboFlamingoに深度情報を取り込み、RGBと深度を視覚言語モデルで統合することで、言語指示に基づくロボット操作性能を10〜20%向上させた研究。
原題: RoboFlamingo-Plus: Fusion of Depth and RGB Perception with Vision-Language Models for Enhanced Robotic Manipulation / Sheng Wang
日本語で読む → - 論文VLAロボティクス
知覚・推論・適応:VLM誘導による精密ロボットマニピュレーションのための二層フレームワーク
VLMによる高レベル計画を細かい動作列に分解し、タスクメモリ・2Dトポロジグラフ・3D空間ネットワークを併用して、高速かつ高精度で誤り訂正可能な精密マニピュレーションを実現する手法を提案した。
原題: Perceiving, Reasoning, Adapting: A Dual-Layer Framework for VLM-Guided Precision Robotic Manipulation / Qingxuan Jia, Guoqin Tang, Zeyuan Huang 他
日本語で読む → - 論文VLAロボティクス
RoboDexVLM:視覚言語モデルによる巧みなロボット操作のためのタスク計画と運動制御
視覚言語モデルを活用し、多様な物体を把持できる巧みなハンドを持つ協働マニピュレータ向けに、自然言語コマンドで長期的タスクを計画・実行するフレームワークを提案した。
原題: RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation / Haichao Liu, Sikai Guo, Pengfei Mai 他
日本語で読む → - 論文VLAAI
ROCKET-2: クロスビュー目標整合による視覚運動ポリシーの操作
ユーザーのカメラ視点からセグメンテーションマスクで目標を指定し、エージェントの視点と整合させることで、Minecraftで訓練したエージェントが他の3D環境にもゼロショットで汎化できる手法を提案。
原題: ROCKET-2: Steering Visuomotor Policy via Cross-View Goal Alignment / Shaofei Cai, Zhancun Mu, Anji Liu 他
日本語で読む → - 論文VLAロボティクス
Falcon: 部分ノイズ除去による高速視覚運動ポリシー
拡散ポリシーの推論を高速化するため、過去の行動の部分ノイズ除去結果を再利用する学習不要の手法を提案し、性能を維持しつつ2〜7倍の速度向上を実現した。
原題: Falcon: Fast Visuomotor Policies via Partial Denoising / Haojun Chen, Minghao Liu, Chengdong Ma 他
日本語で読む → - 論文VLAロボティクス
洗練されたポリシー蒸留:VLA汎用モデルからRLエキスパートへ
VLAモデルを教師として強化学習で蒸留し、マニピュレーションタスクにおいてVLAを上回る高性能なエキスパートポリシーを効率的に学習する手法を提案。
原題: Refined Policy Distillation: From VLA Generalists to RL Experts / Tobias Jülg, Wolfram Burgard, Florian Walter
日本語で読む → - 論文VLAAI
Cosmos-Reason1:物理的常識から身体性推論へ
物理世界を理解し、長い思考連鎖を通じて自然言語で身体的行動決定を生成するマルチモーダル大規模言語モデルCosmos-Reason1を提案し、物理的常識と身体性推論のベンチマークで評価した。
原題: Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning / NVIDIA, :, Alisson Azzolini 他
日本語で読む → - 論文VLA機械学習
VIPER: 逐次意思決定のための視覚知覚と説明可能な推論
VLMで画像をテキスト化しLLMで行動を推論するモジュール型パイプラインを提案し、ALFWorldで視覚指示ベースの計画性能を向上させた。
原題: VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making / Mohamed Salim Aissi, Clemence Grislain, Mohamed Chetouani 他
日本語で読む → - 論文自動運転VLA画像認識
AlphaDrive:強化学習と推論で自動運転におけるVLMの能力を引き出す
自動運転向けにGRPOベースの強化学習報酬と2段階の計画推論訓練を組み合わせたVLMフレームワークを提案し、計画性能と訓練効率を改善した。
原題: AlphaDrive: Unleashing the Power of VLMs in Autonomous Driving via Reinforcement Learning and Reasoning / Bo Jiang, Shaoyu Chen, Qian Zhang 他
日本語で読む → - 論文VLAAI
オンライン言語スプラッティング
3DガウシアンスプラッティングSLAMにおいて、事前生成なしでオンラインかつほぼリアルタイムに言語特徴を統合し、高精度なオープンボキャブラリ3Dマッピングを実現するフレームワークを提案。
原題: Online Language Splatting / Saimouli Katragadda, Cho-Ying Wu, Yuliang Guo 他
日本語で読む → - 論文VLA自然言語
世界モデリングでより良いプランナーへ:身体性タスク計画のための二重選好最適化
視覚言語モデルによる身体性タスク計画において、状態予測と行動選択を選好学習で同時に最適化するD²POを提案し、人間の注釈なしで選好データを収集する木探索機構を導入した。
原題: World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning / Siyin Wang, Zhaoye Fei, Qinyuan Cheng 他
日本語で読む → - 論文VLAロボティクス
Being-0: 視覚言語モデルとモジュール型スキルを統合したヒューマノイドロボットエージェント
基盤モデルによる高レベルな指示理解・計画と、モジュール型スキルライブラリによる歩行・マニピュレーションを、軽量VLMのConnectorで橋渡しする階層型エージェントを提案し、実機ヒューマノイドで長期的タスクを実現した。
原題: Being-0: A Humanoid Robotic Agent with Vision-Language Models and Modular Skills / Haoqi Yuan, Yu Bai, Yuhui Fu 他
日本語で読む → - 論文VLAロボティクス
推論時の分布レベル合成によるモダリティ合成可能な拡散ポリシー
個別の視覚モダリティで事前学習済みの拡散ポリシーを追加学習なしに分布スコアのレベルで合成し、より表現力の高いポリシーを実現する手法を提案した。
原題: Modality-Composable Diffusion Policy via Inference-Time Distribution-level Composition / Jiahang Cao, Qiang Zhang, Hanzhong Guo 他
日本語で読む →
PR・アフィリエイト広告
