論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAAI
ImitDiff: 基盤モデルの事前知識を転移した妨害に頑健な視覚運動模倣ポリシー
視覚言語基盤モデルで指示をピクセル単位の意味マスクに変換し、二重解像度の知覚と拡散トランスフォーマで妨害に強い模倣学習ポリシーを実現した。
原題: ImitDiff: Transferring Foundation-Model Priors for Distraction Robust Visuomotor Policy / Yuhang Dong, Haizhou Ge, Yupei Zeng 他
日本語で読む → - 論文VLAHCI
AoECR:高齢者介護ロボットのAI化
介護ベッドを基盤に患者と看護師の対話データセットを構築し、大規模言語モデルを微調整して安全な操作と人間らしい応答を実現する高齢者介護ロボット向けの汎用AIアーキテクチャを提案した。
原題: AoECR: AI-ization of Elderly Care Robot / Linkun Zhou, Jian Li, Yadong Mo 他
日本語で読む → - 論文VLAロボティクス
HAMSTER: オープンワールドロボット操作のための階層型行動モデル
高レベルVLMが粗い2D経路を予測し、低レベル3D制御ポリシーが精密操作を行う階層型VLAモデルを提案。非ドメインデータを活用し、実機でのオープンワールド汎化を実現する。
原題: HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation / Yi Li, Yuquan Deng, Jesse Zhang 他
日本語で読む → - 論文VLAロボティクス
時間表現アラインメント:後継特徴がロボット指示追従における創発的な構成性を可能にする
現在と将来の状態表現を時間的に整合させる損失で学習することで、明示的なサブタスク計画や強化学習なしに、基本タスクの組み合わせからなる複合タスクをこなせる構成性がロボット操作タスクで向上することを示した論文。
原題: Temporal Representation Alignment: Successor Features Enable Emergent Compositionality in Robot Instruction Following / Vivek Myers, Bill Chunyuan Zheng, Anca Dragan 他
日本語で読む → - 論文VLAロボティクス
連続環境における地上視点の視覚と言語によるナビゲーション
低視点の四足ロボット向けに、重み付き履歴観測と接続グラフ転移を用いて視覚と言語によるナビゲーションの汎化性能を高めるGVNavを提案した論文。
原題: Ground-level Viewpoint Vision-and-Language Navigation in Continuous Environments / Zerui Li, Gengze Zhou, Haodong Hong 他
日本語で読む → - 論文VLAロボティクス
QueryAdapter: 自然言語クエリに応答する視覚言語モデルの迅速適応
ロボットが収集した未ラベル画像を用い、自然言語クエリに関連する意味クラスへVLMを数分で適応させるフレームワークを提案。物体キャプションを負例として活用し、物体検索性能を向上させた。
原題: QueryAdapter: Rapid Adaptation of Vision-Language Models in Response to Natural Language Queries / Nicolas Harvey Chapman, Feras Dayoub, Will Browne 他
日本語で読む → - 論文VLAロボティクス
GEVRM: 目標表現型ビデオ生成モデルによるロバストな視覚マニピュレーション
内部モデル制御の原理を取り入れ、テキスト誘導のビデオ生成で将来の視覚的目標を生成しつつ、摂動を内部埋め込みとして推定することで、外乱に強い閉ループVLAを実現した研究。
原題: GEVRM: Goal-Expressive Video Generation Model For Robust Visual Manipulation / Hongyin Zhang, Pengxiang Ding, Shangke Lyu 他
日本語で読む → - 論文VLA機械学習
スキーマ誘導シーングラフ推論:マルチエージェントLLMシステムによるSG²
シーングラフのスキーマを手がかりに、計画立案エージェントと情報検索エージェントが反復協調して空間推論を行うマルチエージェントLLMフレームワークを提案し、Q&Aや計画タスクで既存手法を上回る性能を示した。
原題: Schema-Guided Scene-Graph Reasoning based on Multi-Agent Large Language Model System / Yiye Chen, Harpreet Sawhney, Nicholas Gydé 他
日本語で読む → - 論文VLAロボティクス
RoboBrain:抽象的から具体的へと至るロボット操作のための統合脳モデル
ロボット操作に必要な計画・アフォーダンス知覚・軌道予測を統合したMLLMベースの脳モデルRoboBrainを提案し、多次元情報を付与した大規模データセットShareRobotで訓練して最先端性能を達成した。
原題: RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete / Yuheng Ji, Huajie Tan, Jiayu Shi 他
日本語で読む → - 論文VLA画像認識
OpenFly: 空中視覚言語ナビゲーションのための包括的プラットフォーム
空中視覚言語ナビゲーションのための多様なレンダリングエンジンと自動データ収集ツールチェーンを統合したプラットフォームを提案し、10万軌道の大規模ベンチマークとキーフレーム重視のナビゲーションモデルを構築した。
原題: Openfly: A comprehensive platform for aerial vision-language navigation / Yunpeng Gao, Chenhui Li, Zhongrui You 他
日本語で読む → - 論文VLAロボティクス
生成的予測制御:動的で実演困難なタスクのためのフローマッチング方策
シミュレーション可能だが実演が難しい高速動的タスクに対し、サンプリングベース予測制御と生成的モデリングを結びつけたフローマッチング方策を提案し、推論時のウォームスタートで高頻度フィードバックを可能にした。
原題: Generative Predictive Control: Flow Matching Policies for Dynamic and Difficult-to-Demonstrate Tasks / Vince Kurtz, Joel W. Burdick
日本語で読む → - 論文VLAロボティクス
LIR-LIVO: 照明に頑健な深層特徴を用いた軽量でロバストなLiDAR・視覚・慣性オドメトリ
照明が厳しい環境でも安定して動くよう、深層学習ベースの照明耐性特徴とLiDAR点群による深度統合、SuperPoint/LightGlueによる適応的マッチングを組み合わせた軽量なLiDAR-慣性-視覚オドメトリを提案し、複数データセットで高精度・低計算コストを実証した。
原題: LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features / Shujie Zhou, Zihao Wang, Xinye Dai 他
日本語で読む → - 論文VLAロボティクス
VLAモデルの内部表現から記号的状態を探り認知アーキテクチャへ統合する
OpenVLAの隠れ層を解析し、物体・関係・行動状態の記号的表現が高精度で符号化されていることを示すとともに、認知アーキテクチャDIARCと統合して解釈性と堅牢性を高める手法を提案した。
原題: Probing a Vision-Language-Action Model for Symbolic States and Integration into a Cognitive Architecture / Hong Lu, Hengxu Li, Prithviraj Singh Shahani 他
日本語で読む → - 論文VLAロボティクス
Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
原題: Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models / Lucy Xiaoyang Shi, Brian Ichter, Michael Equi 他
日本語で読む → - 論文VLAAI
User-VLM 360°: 社会的ヒューマンロボットインタラクションのためのユーザー認識チューニングによる個人適応型視覚言語モデル
ユーザーの視覚・言語信号に基づきリアルタイムで適応する個人化視覚言語モデルを提案し、バイアス軽減と社会的感情データセットを統合してPepperロボットで実証した。
原題: USER-VLM 360: Personalized Vision Language Models with User-aware Tuning for Social Human-Robot Interactions / Hamed Rahimi, Adil Bahaj, Mouad Abrini 他
日本語で読む → - 論文VLAロボティクス
ObjectVLA: 実演なしで実世界の物体操作を実現するエンドツーエンドVLA
Vision-Language-Actionモデルを用い、新規物体に対する実演データなしでロボットの物体操作スキルを汎化させる手法を提案し、実機で100種類の未見物体に対し64%の成功率を達成した。
原題: ObjectVLA: End-to-End Open-World Object Manipulation Without Demonstration / Minjie Zhu, Yichen Zhu, Jinming Li 他
日本語で読む → - 論文VLAロボティクス
VLA-Cache: 適応的トークンキャッシュによる効率的な視覚-言語-行動マニピュレーション
ロボット操作におけるVLAモデルの推論を高速化するため、フレーム間で変化の少ない視覚トークンをキャッシュ・再利用し、重要なトークンのみ再計算する学習不要の手法を提案。最大1.7倍の高速化と制御周波数15%向上を達成。
原題: VLA-Cache: Efficient Vision-Language-Action Manipulation via Adaptive Token Caching / Siyu Xu, Yunke Wang, Chenghao Xia 他
日本語で読む → - 論文VLAAI
汎用人工知能に向けた大規模言語モデル:基礎原理とアプローチのサーベイ
大規模言語モデルが人間レベルの汎用知能に到達するために必要な身体性・記号接地・因果性・記憶という基礎的問題を整理し、最新の研究アプローチを概観したサーベイ論文。
原題: Large language models for artificial general intelligence (AGI): A survey of foundational principles and approaches / Alhassan Mumuni, Fuseini Mumuni
日本語で読む → - 論文自動運転/VLAAI
SenseRAG: LLMベース自動運転のための能動的クエリによる環境知識ベース構築
マルチモーダルなセンサデータをLLMが読める知識ベースに統合し、能動的RAGと思考連鎖プロンプトで自動運転の状況認識・予測性能を向上させるフレームワークを提案。
原題: SenseRAG: Constructing Environmental Knowledge Bases with Proactive Querying for LLM-Based Autonomous Driving / Xuewen Luo, Fan Ding, Fengze Yang 他
日本語で読む → - 論文VLA自然言語
3D-MoE:Rectified Flowによる姿勢拡散を備えた3D視覚・空間推論向けMixture-of-ExpertsマルチモーダルLLM
既存の密活性化LLMをMixture-of-Experts化し、Rectified Flow拡散ヘッド(Pose-DiT)を組み合わせることで、3D質問応答と身体性タスク計画を少ない活性パラメータで高精度に実行するフレームワークを提案した。
原題: 3D-MoE: A Mixture-of-Experts Multi-modal LLM for 3D Vision and Pose Diffusion via Rectified Flow / Yueen Ma, Yuzheng Zhuang, Jianye Hao 他
日本語で読む → - 論文VLAロボティクス
調整可能なマッピング仕様を持つ記号命令に対する柔軟な方策の強化学習
記号命令とそのマッピング仕様を分離して強化学習方策に組み込み、仕様認識型状態変調と記号数ベースのカリキュラムで柔軟な方策を学習する手法SIAMSを提案した。
原題: Reinforcement Learning of Flexible Policies for Symbolic Instructions with Adjustable Mapping Specifications / Wataru Hatanaka, Ryota Yamashina, Takamitsu Matsubara
日本語で読む → - 論文VLAロボティクス
LiLMaps: 学習可能な暗黙的言語マップ
視覚言語特徴を統合して増分暗黙的マップを強化し、新規物体出現時のデコーダ最適化と視点間の予測不一致を解決する手法を提案。
原題: LiLMaps: Learnable Implicit Language Maps / Evgenii Kruzhkov, Sven Behnke
日本語で読む → - 論文VLA画像認識
PhysBench:視覚言語モデルの物理世界理解を評価・強化するベンチマーク
視覚言語モデル(VLM)の物理世界理解を評価する10,002件のベンチマークPhysBenchを提案し、75モデルの評価と、視覚モデルを組み合わせて物理理解を強化するPhysAgentを開発した。
原題: PhysBench: Benchmarking and Enhancing Vision-Language Models for Physical World Understanding / Wei Chow, Jiageng Mao, Boyi Li 他
日本語で読む → - 論文VLA画像認識
大規模視覚言語モデルの最新動向:アラインメント、ベンチマーク、評価、課題に関するサーベイ
2025年までの主要な視覚言語モデル(VLM)のモデル情報、アーキテクチャの変遷とアラインメント手法、ベンチマークと評価指標、幻覚や公平性などの課題を体系的にまとめたサーベイ論文。
原題: A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges / Zongxia Li, Xiyang Wu, Hongyang Du 他
日本語で読む → - 論文VLAロボティクス
夢見るドローン:視覚ベース飛行のためのモデルベース強化学習
DreamerV3を用いて、カメラ画像のみを入力としてドローンレースコースを最大9m/sで飛行する視覚運動ポリシーを学習させた研究。
原題: Dream to Fly: Model-Based Reinforcement Learning for Vision-Based Drone Flight / Angel Romero, Ashwin Shenai, Ismail Geles 他
日本語で読む → - 論文VLA画像認識
ECBench:マルチモーダル基盤モデルは自己中心的世界を理解できるか?包括的身体認知ベンチマーク
ロボットの自己認知や動的シーン知覚、幻覚といった身体認知能力を体系的に評価するため、30次元の認知軸を持つベンチマークECBenchと評価システムECEvaluを提案し、各種LVLMを評価した。
原題: ECBench: Can Multi-modal Foundation Models Understand the Egocentric World? A Holistic Embodied Cognition Benchmark / Ronghao Dang, Yuqian Yuan, Wenqi Zhang 他
日本語で読む → - 論文VLAロボティクス
CoDriveVLM: VLMで強化した都市協調配車と運動計画による未来のオンデマンド自律モビリティ
VLMを活用して配車と衝突リスク評価を統合し、分散協調型の運動計画を組み合わせることで、オンデマンド自律モビリティシステムの同時配車・協調走行を実現するフレームワークを提案した。
原題: CoDriveVLM: VLM-Enhanced Urban Cooperative Dispatching and Motion Planning for Future Autonomous Mobility on Demand Systems / Haichao Liu, Ruoyu Yao, Wenru Liu 他
日本語で読む → - 論文VLAロボティクス
RDMM: 特定ドメインにおける文脈認識を強化したオンデバイスロボット意思決定用の微調整済みLLMモデル
8GBメモリのオンデバイス環境で動作する、視覚・音声認識を統合したロボット意思決定フレームワークRDMMを提案し、家庭内競技のデータセットで93%の計画精度を達成した。
原題: RDMM: Fine-Tuned LLM Models for On-Device Robotic Decision Making with Enhanced Contextual Awareness in Specific Domains / Shady Nasrat, Myungsu Kim, Seonil Lee 他
日本語で読む → - 論文VLAロボティクス
UAV-VLA:大規模航空ミッション生成のための視覚言語行動システム
衛星画像とVLM・GPTを組み合わせ、テキスト指示から飛行経路と行動計画を生成するUAV向けシステムを提案。
原題: UAV-VLA: Vision-Language-Action System for Large Scale Aerial Mission Generation / Oleg Sautenkov, Yasheerah Yaqoot, Artem Lykov 他
日本語で読む → - 論文VLAロボティクス
ロボティックプログラマー:動画指示によるロボット操作のためのポリシーコード生成
大規模言語モデルと視覚言語モデルを活用し、動画から実行可能なコードを合成するVideo2Codeを開発。自由形式の指示と視覚情報からゼロショットでロボット操作ポリシーコードを生成する基盤モデルRoboProを提案。
原題: Robotic Programmer: Video Instructed Policy Code Generation for Robotic Manipulation / Senwei Xie, Hongyu Wang, Zhanqi Xiao 他
日本語で読む →
PR・アフィリエイト広告
