論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
SwitchVLA: 実行状態を考慮したタスク切り替えが可能な視覚-言語-行動モデル
実行中に指示が変わっても柔軟に対応できるVLAフレームワークを提案し、外部プランナーや専用データなしで滑らかなタスク切り替えを実現した。
原題: SwitchVLA: Execution-Aware Task Switching for Vision-Language-Action Models / Meng Li, Zhen Zhao, Zhengping Che 他
日本語で読む → - 論文VLAロボティクス
PAC Bench:基盤モデルはマニピュレーション方策実行の前提条件を理解しているか?
ロボット操作に必要な物体の性質・アフォーダンス・物理的制約をVLMが理解できるかを評価する3万件超のベンチマークを構築し、既存モデルに大きな知識ギャップがあることを示した。
原題: PAC Bench: Do Foundation Models Understand Prerequisites for Executing Manipulation Policies? / Atharva Gundawar, Som Sagar, Ransalu Senanayake
日本語で読む → - 論文VLA自然言語
SoMi-ToM:身体的社会的相互作用における多視点Theory of Mindの評価
マルチエージェントの身体的社会的相互作用を題材に、一人称視点と三人称視点の両方からTheory of Mindを評価するベンチマークSoMi-ToMを提案し、LVLMの性能を人間と比較評価した。
原題: SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions / Xianzhe Fan, Xuhui Zhou, Chuanyang Jin 他
日本語で読む → - 論文VLA画像認識
視覚的身体脳:マルチモーダル大規模言語モデルに空間での知覚・思考・制御を
マルチモーダルLLMをロボット制御に統合するVeBrainを提案し、テキストベースの制御信号を実機の動作ポリシーに変換するアダプタと大規模指示データセットで脚ロボットやアームの適応的な操作を実現した。
原題: Visual Embodied Brain: Let Multimodal Large Language Models See, Think, and Control in Spaces / Gen Luo, Ganlin Yang, Ziyang Gong 他
日本語で読む → - 論文自動運転/VLAロボティクス
VLM統合型実世界自動運転のための階層的テストプラットフォーム
VLMを組み込んだ自動運転システムを実世界の閉鎖コースで評価するため、低遅延ミドルウェアと知覚・計画・制御を分離した階層的テストプラットフォームを提案し、ケーススタディで有効性を示した。
原題: A Hierarchical Test Platform for Vision Language Model (VLM)-Integrated Real-World Autonomous Driving / Yupeng Zhou, Can Cui, Juntong Peng 他
日本語で読む → - 論文VLAロボティクス
BridgeVLA: 視覚言語モデルによる効率的な3Dマニピュレーション学習のための入出力アラインメント
3D入力を複数の2D画像に投影し、2Dヒートマップで行動予測を行うことで、VLMを活用した3Dマニピュレーション学習を効率化する手法を提案。
原題: BridgeVLA: Input-Output Alignment for Efficient 3D Manipulation Learning with Vision-Language Models / Peiyan Li, Yixiang Chen, Hongtao Wu 他
日本語で読む → - 論文VLAAI
製造業における知覚・説明・自律行動のためのハイブリッド推論
産業用3Dプリンタを対象に、視覚言語行動モデルとプロセス専門家・回帰モデル・検索拡張生成を組み合わせ、定量精度と汎化性能を両立させた自律制御フレームワークCIPHERを提案。
原題: Hybrid Reasoning for Perception, Explanation, and Autonomous Action in Manufacturing / Christos Margadji, Sebastian W. Pattinson
日本語で読む → - 論文VLAロボティクス
オンデバイス言語モデルによるロボット計画のための最小限の人間介入での蒸留
クラウドに依存せずオンデバイスで動作する小型言語モデルベースのロボットプランナーを、既存のLLMプランナーから合成データを用いて蒸留するフレームワークPRISMを提案し、Llama-3.2-3Bの性能をGPT-4oの10-20%から93%以上に向上させた。
原題: Distilling On-device Language Models for Robot Planning with Minimal Human Intervention / Zachary Ravichandran, Ignacio Hounie, Fernando Cladera 他
日本語で読む → - 論文ベンチマーク/VLAロボティクス
PhyBlock: 3Dブロック組み立てによる物理理解と計画の段階的ベンチマーク
視覚言語モデルの物理理解と計画能力を評価するため、4段階の認知階層を持つ3Dブロック組み立てタスクとVQAを組み合わせたベンチマークを提案し、21モデルを評価した。
原題: PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly / Liang Ma, Jiajun Wen, Min Lin 他
日本語で読む → - 論文VLAAI
V-JEPA 2: 自己教師あり動画モデルによる理解・予測・計画
大規模動画データで自己教師あり事前学習したV-JEPA 2を提案し、ロボット軌道で微調整した世界モデルにより、未知環境でのゼロショット物体操作を実現した。
原題: V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning / Mido Assran, Adrien Bardes, David Fan 他
日本語で読む → - 論文VLAAI
身体性ウェブエージェント:物理世界とデジタル世界を統合するエージェント知能
3Dシミュレーション環境とウェブインターフェースを統合したプラットフォームを構築し、料理・ナビゲーション・買い物など物理とデジタルの協調推論を要するタスクのベンチマークを提案した。
原題: Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence / Yining Hong, Rui Sun, Bingxuan Li 他
日本語で読む → - 論文VLAロボティクス
空中・地上ロボットシステムにおける意味的ナビゲーションとマニピュレーションのための階層的言語モデル
LLMによる階層的タスク分解とVLMによる意味的知覚を統合し、空中ロボットが地上ロボットを誘導して長期的な物体配置タスクをゼロショットで遂行する異種協調システムを提案。
原題: Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System / Haokun Liu, Zhaoqi Ma, Yunong Li 他
日本語で読む → - 論文VLAロボティクス
自律運転のためのコミュニケーション型世界モデルの自己中心学習
各エージェントが低次元の潜在表現で世界モデルを学習し、軽量な通信で情報共有しながら自己中心学習を行うMARL手法CALLを提案し、CARLAでの軌道計画タスクで性能向上を示した。
原題: Ego-centric Learning of Communicative World Models for Autonomous Driving / Hang Wang, Dechen Gao, Junshan Zhang
日本語で読む → - 論文VLAロボティクス
対話で飛ばす:PX4ベースのドローンエージェントに対する自然言語制御の実現
PX4・ROS 2・ローカルLLM/VLMを組み合わせ、ドローンを自然言語で操作できるオープンソースのエージェントフレームワークを構築し、シミュレーションと実機で複数モデルの性能を比較評価した。
原題: Taking Flight with Dialogue: Enabling Natural Language Control for PX4-based Drone Agent / Shoon Kit Lim, Melissa Jia Ying Chong, Jing Huey Khor 他
日本語で読む → - 論文VLAロボティクス
DynaGuide: 動的ガイダンスによる拡散ポリシーの能動的制御
拡散ポリシーの生成過程に外部のダイナミクスモデルからのガイダンスを注入することで、追加学習なしに既存ポリシーを多様な目的へ誘導できる手法を提案。
原題: DynaGuide: Steering Diffusion Polices with Active Dynamic Guidance / Maximilian Du, Shuran Song
日本語で読む → - 論文VLAロボティクス
ロボットナビゲーション向けLLM自然言語コマンド処理の低遅延化
ChatGPTとROS 2をミドルウェアなしで統合し、シミュレーション環境でテキスト・音声コマンドによる移動ロボット制御の通信遅延を平均7.01%削減した。
原題: Reducing Latency in LLM-Based Natural Language Commands Processing for Robot Navigation / Diego Pollini, Bruna V. Guterres, Rodrigo S. Guerra 他
日本語で読む → - 論文VLAロボティクス
HRIBench:人とロボットのインタラクションにおけるリアルタイム人間知覚のための視覚言語モデルベンチマーク
HRI向けの視覚言語モデルを評価するため、非言語的手がかりや指示理解など5領域・計1000問のVQAベンチマークを構築し、11モデルの性能と遅延を評価した。
原題: HRIBench: Benchmarking Vision-Language Models for Real-Time Human Perception in Human-Robot Interaction / Zhonghao Shi, Enyu Zhao, Nathaniel Dennler 他
日本語で読む → - 論文VLAAI
IS-Bench:家庭内タスクにおけるVLM駆動型身体エージェントの対話型安全性評価
家庭内タスクを行うVLM駆動型エージェントの対話型安全性を評価する初のマルチモーダルベンチマークIS-Benchを提案し、161のシナリオと388のリスクで危険回避行動の手順を検証した。
原題: IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks / Xiaoya Lu, Zeren Chen, Xuhao Hu 他
日本語で読む → - 論文VLA自然言語
ASMR: 大規模生成モデルによるロボット行動選択のためのデータ拡張フレームワーク
大規模言語モデルと拡散モデルで対話と環境画像を生成し、ロボット支援のマルチモーダル行動選択モデルをデータ拡張する手法を提案。実世界データで最高性能を達成。
原題: ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection / Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras 他
日本語で読む → - 論文VLAロボティクス
OG-VLA: 正投影画像生成による3D認識型視覚言語行動モデル
多視点RGBD観測を正投影画像に変換し、LLMと拡散モデルでエンドエフェクタの次位置・姿勢を生成する3D認識型VLAを提案。未見環境への汎化性能を大幅に向上。
原題: OG-VLA: Orthographic Image Generation for 3D-Aware Vision-Language Action Model / Ishika Singh, Ankit Goyal, Stan Birchfield 他
日本語で読む → - 論文VLA機械学習
大規模視覚言語モデルのフィードバックを活用する評価ベース強化学習の強化
大規模視覚言語モデルから軌道の絶対評価を得て報酬関数を学習するERL-VLMを提案し、データ不均衡やノイズに対処して従来手法を上回る性能を示した。
原題: Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models / Tung Minh Luu, Younghwan Lee, Donghoon Lee 他
日本語で読む → - 論文VLA機械学習
フロー補完による単一ステップ生成方策:効率的で表現力豊かな方策学習
拡張フローマッチング目的で中間フローから直接補完ベクトルを予測し、1回の推論で多様な行動を生成できる生成方策SSCPを提案。オフライン・オンラインRLで拡散モデルより高速かつ高精度を実現。
原題: Flow-Based Single-Step Completion for Efficient and Expressive Policy Learning / Prajwal Koirala, Cody Fleming
日本語で読む → - 論文VLAロボティクス
Fast-in-Slow:高速操作と低速推論を統合するデュアルシステム基盤モデル
VLMベースの推論システムに実行モジュールを部分的にパラメータ共有して組み込み、高速かつ精密なロボット操作を実現する統合型VLAモデルを提案。
原題: Fast-in-Slow: A Dual-System Foundation Model Unifying Fast Manipulation within Slow Reasoning / Hao Chen, Jiaming Liu, Chenyang Gu 他
日本語で読む → - 論文VLAロボティクス
DyNaVLM: 動的視点と自己洗練グラフメモリを備えたゼロショット視覚言語ナビゲーションシステム
VLMを用いて、固定間隔に縛られず自由にナビゲーション目標を選べる視覚言語ナビゲーションを実現し、物体位置をトポロジカル関係として記憶する自己洗練グラフメモリで性能を高めた。
原題: DyNaVLM: Zero-Shot Vision-Language Navigation System with Dynamic Viewpoints and Self-Refining Graph Memory / Zihe Ji, Huangxuan Lin, Yue Gao
日本語で読む → - 論文VLAロボティクス
標識理解によるロボット自律ナビゲーション
ロボットが公共空間の案内標識を視覚言語モデルで解釈し、場所と方向を抽出するタスクを提案し、ベンチマークと評価指標を構築した。
原題: Sign Language: Towards Sign Understanding for Robot Autonomy / Ayush Agrawal, Joel Loo, Nicky Zimmerman 他
日本語で読む → - 論文VLAロボティクス
FreqPolicy: 周波数一貫性による効率的なフローベース視覚運動ポリシー
フローベースの視覚運動ポリシーに周波数領域の一貫性制約を導入し、時間的連続性を保ちながら1ステップでの高品質な行動生成を可能にした手法。
原題: FreqPolicy: Efficient Flow-based Visuomotor Policy via Frequency Consistency / Yifei Su, Ning Liu, Dong Chen 他
日本語で読む → - 論文VLAロボティクス
BitVLA: ロボットマニピュレーションのための1ビット視覚言語行動モデル
全てのパラメータを3値{-1,0,1}に量子化した1ビットVLAモデルを提案し、メモリを11倍削減しつつ全精度ベースラインと同等のマニピュレーション性能を実現した。
原題: BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation / Hongyu Wang, Chuyan Xiong, Ruiping Wang 他
日本語で読む → - 論文VLAロボティクス
AntiGrounding:ロボット行動をVLM表現空間に持ち上げて意思決定を行う
ロボットの行動候補をVLMの表現空間に直接持ち上げ、複数視点の軌道を描画してVQAで指示に基づく意思決定を行うことで、ゼロショットで最適な閉ループ軌道を生成するフレームワークを提案。
原題: AntiGrounding: Lifting Robotic Actions into VLM Representation Space for Decision Making / Wenbo Li, Shiyi Wang, Yiteng Chen 他
日本語で読む → - 論文VLAロボティクス
CronusVLA: マルチフレーム視覚-言語-行動モデリングによる効率的で堅牢なマニピュレーション
単一フレームのVLAモデルをマルチフレームに拡張し、特徴チャンキングで履歴情報を集約することで、計算負荷を抑えつつ操作性能と観測の堅牢性を向上させた。
原題: CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling / Hao Li, Shuai Yang, Yilun Chen 他
日本語で読む → - 論文VLAロボティクス
AMPLIFY: ロボット学習のためのアクションなし動き事前分布
アクションラベルなしの大規模動画からキーポイント軌跡を離散モーショントークンに符号化し、順動力学と逆動力学を分離して学習することで、ロボット方策の汎化性能を向上させるフレームワーク。
原題: AMPLIFY: Actionless Motion Priors for Robot Learning from Videos / Jeremy A. Collins, Loránd Cheng, Kunal Aneja 他
日本語で読む →
PR・アフィリエイト広告
