論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
Humanoid-VLA:視覚統合による汎用人型ロボット制御
言語・自己視点映像・運動制御を統合し、大規模未ラベル動画を自己教師ありで活用することで、物体操作や環境探索をこなす汎用人型ロボット制御フレームワークを提案した。
原題: Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration / Pengxiang Ding, Jianfei Ma, Xinyang Tong 他
日本語で読む → - 論文VLA画像認識
テキストと視覚を繋ぐ:クロスモーダル場所認識のためのマルチビューテキスト・視覚位置合わせ手法
テキスト記述のみで画像データベースを照合する初の場所認識手法Text4VPRを提案し、360度マルチビュー画像との位置合わせを実現した。
原題: Bridging Text and Vision: A Multi-View Text-Vision Registration Approach for Cross-Modal Place Recognition / Tianyi Shang, Zhenyu Li, Pengjie Xu 他
日本語で読む → - 論文VLAロボティクス
DexVLA: 汎用ロボット制御のためのプラグイン拡散エキスパートを備えた視覚言語モデル
拡散ベースのアクションエキスパートをVLAモデルに組み込み、身体カリキュラム学習で効率的に訓練することで、多様なロボット身体での複雑な長期的タスクを実現した。
原題: DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control / Junjie Wen, Yichen Zhu, Jinming Li 他
日本語で読む → - 論文VLAロボティクス
VLAS: 音声指示によるカスタマイズ可能なロボット操作のための視覚-言語-行動モデル
音声認識をロボット方策モデルに直接統合したエンドツーエンドの視覚-言語-行動モデルVLASを提案し、音声指示によるロボット操作を実現した。
原題: VLAS: Vision-Language-Action Model With Speech Instructions For Customized Robot Manipulation / Wei Zhao, Pengxiang Ding, Min Zhang 他
日本語で読む → - 論文VLAロボティクス
RobotIQ: 実世界実行のための人間レベルの計画能力をモバイルロボットに付与するフレームワーク
任意のLLMと自然言語で連携し、ROS上でナビゲーション・マニピュレーション・物体位置推定などのタスクを計画・実行するモジュール型ロボットライブラリを提案し、高齢者支援の家庭サービスシナリオでシミュレーションと実機検証を行った。
原題: RobotIQ: Empowering Mobile Robots with Human-Level Planning for Real-World Execution / Emmanuel K. Raptis, Athanasios Ch. Kapoutsis, Elias B. Kosmatopoulos
日本語で読む → - 論文VLA機械学習
RoPEを超えて:STRINGによる2D・3D位置エンコーディングの改善
大規模言語モデルで広く使われるRotary Position Encodingsを統一的な理論枠組みで拡張し、任意次元のトークン座標に対して厳密な並進不変性を保ちつつ低計算コストで2D・3D位置エンコーディングを実現するSTRINGを提案。Vision Transformerに統合し、オープンボキャブラリ物体検出やロボティクス制御で性能向上を示した。
原題: Learning the RoPEs: Better 2D and 3D Position Encodings with STRING / Connor Schenck, Isaac Reid, Mithun George Jacob 他
日本語で読む → - 論文VLAロボティクス
DeepUKF-VIN: IMU-視覚ネットに基づく3次元視覚慣性ナビゲーションのための適応調整型深層アンセンテッドカルマンフィルタ
IMUとカメラ画像から6自由度の姿勢・位置・速度を推定するため、深層学習でカルマンフィルタのノイズ共分散を適応調整する手法を提案し、GPS不要の3次元視覚慣性ナビゲーションを高精度化した。
原題: DeepUKF-VIN: Adaptively-tuned Deep Unscented Kalman Filter for 3D Visual-Inertial Navigation based on IMU-Vision-Net / Khashayar Ghanizadegan, Hashim A. Hashim
日本語で読む → - 論文VLA機械学習
協調知覚のための深層強化学習に基づくユーザスケジューリング
V2X通信を用いた協調知覚において、深層強化学習(DDQN)で通信リンクのスケジューリングを最適化し、ラベル不要の目的関数で知覚精度を高める手法を提案した論文。
原題: Deep Reinforcement Learning-Based User Scheduling for Collaborative Perception / Yandi Liu, Guowei Liu, Le Liang 他
日本語で読む → - 論文VLAロボティクス
VL-Explore: モバイルロボットによるゼロショット視覚言語探索と目標発見
CLIPを用いて未知環境で地図や目標知識なしに探索と目標発見を同時に行うナビゲーションパイプラインを提案し、UGV「Open Rover」で実世界評価した。
原題: VL-Explore: Zero-shot Vision-Language Exploration and Target Discovery by Mobile Robots / Yuxuan Zhang, Adnan Abdullah, Sanjeev J. Koppal 他
日本語で読む → - 論文VLAロボティクス
時間的絡み合いの罠:視覚運動ポリシー学習における事前学習済み視覚表現の活用
事前学習済み視覚表現を逐次意思決定に使うと時間的絡み合いが生じる問題を指摘し、その影響を定量化して、絡み合いを解く簡単なベースラインを提案した論文。
原題: The Temporal Trap: Entanglement in Pre-Trained Visual Representations for Visuomotor Policy Learning / Nikolaos Tsagkas, Andreas Sochopoulos, Duolikun Danier 他
日本語で読む → - 論文VLAロボティクス
再学習不要のスケーラブルな視覚言語ロボティクス:コンシューマGPU向けモジュラー型マルチモデルフレームワーク
軽量なオープンソースAIモデルを組み合わせ、再学習なしで自然言語指示によるピック&プレースを実現するモジュラーフレームワークSVLRを提案。コンシューマ向けGPUでも動作する。
原題: Scalable, Training-Free Visual Language Robotics: A Modular Multi-Model Framework for Consumer-Grade GPUs / Marie Samson, Bastien Muraccioli, Fumio Kanehiro
日本語で読む → - 論文VLAロボティクス
3D空間接地型視覚言語フレームワークによるロボットタスク計画:プロンプト自動合成と教師あり推論
2D画像を点群にマッピングしてVLMに3D空間情報を自動抽出させ、小型言語モデルで出力を監督することで、幻覚を抑え高信頼なロボット制御コードを生成するフレームワークを提案。再学習不要で96%のタスク成功率を達成した。
原題: 3D-Grounded Vision-Language Framework for Robotic Task Planning: Automated Prompt Synthesis and Supervised Reasoning / Guoqin Tang, Qingxuan Jia, Zeyuan Huang 他
日本語で読む → - 論文VLAロボティクス
ConRFT: 一貫性ポリシーによるVLAモデルの強化学習ファインチューニング
VLAモデルをオフラインとオンラインの強化学習でファインチューニングし、実世界の接触を伴う操作タスクで成功率を大幅に向上させた手法。
原題: ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy / Yuhui Chen, Shuai Tian, Shugao Liu 他
日本語で読む → - 論文VLAロボティクス
行動ラベルなしデータからの推論による方策の汎化
人間の動画から言語ベースの推論を学習し、ロボットの行動ラベルなしデータを活用して汎化性能の高いロボット方策を訓練する手法RADを提案した。
原題: Action-Free Reasoning for Policy Generalization / Jaden Clark, Suvir Mirchandani, Dorsa Sadigh 他
日本語で読む → - 論文VLAロボティクス
視覚言語行動モデルの微調整:速度と成功率の最適化
VLAモデルの微調整戦略を検討し、並列デコードやアクションチャンキングを組み合わせた最適化レシピを提案。LIBEROベンチマークで成功率を76.5%から97.1%に向上させ、推論速度も26倍高速化した。
原題: Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success / Moo Jin Kim, Chelsea Finn, Percy Liang
日本語で読む → - 論文VLAロボティクス
RAPID: 逆強化学習を用いた視覚ベースドローン航法のための堅牢で敏捷なプランナ
逆強化学習を活用し、複雑な環境でドローンが高速かつ衝突回避しながら飛行する視覚ベースのプランナを提案。シミュレーションのみで学習し実環境に直接適用可能。
原題: RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation / Minwoo Kim, Geunsik Bae, Jinwoo Lee 他
日本語で読む → - 論文VLA画像認識
TRAVEL: 視覚と言語によるナビゲーションのための訓練不要な検索と位置合わせ
大規模言語モデルと視覚言語モデルをゼロショットで用い、自然言語指示からランドマークを抽出し、トポロジカルマップ上で経路仮説を生成・位置合わせするモジュール型視覚言語ナビゲーション手法を提案。
原題: TRAVEL: Training-Free Retrieval and Alignment for Vision-and-Language Navigation / Navid Rajabi, Jana Kosecka
日本語で読む → - 論文VLAロボティクス
InstructRobot: 自然言語指示をロボット動作に変換するモデルフリー枠組み
大規模データセットやロボットの運動学モデルを必要とせず、強化学習で言語表現と逆運動学を同時学習し、26自由度ロボットの物体操作を実現するフレームワーク。
原題: InstructRobot: A Model-Free Framework for Mapping Natural Language Instructions into Robot Motion / Iury Cleveston, Alana C. Santana, Paula D. P. Costa 他
日本語で読む → - 論文VLAロボティクス
生成的予測制御:動的で実演困難なタスクのためのフローマッチング方策
シミュレーション可能だが実演が難しい高速動的タスクに対し、サンプリングベース予測制御と生成的モデリングを結びつけたフローマッチング方策を提案し、推論時のウォームスタートで高頻度フィードバックを可能にした。
原題: Generative Predictive Control: Flow Matching Policies for Dynamic and Difficult-to-Demonstrate Tasks / Vince Kurtz, Joel W. Burdick
日本語で読む → - 論文VLAロボティクス
空間認識インストラクションチューニング:視覚障害者を支援する盲導犬ロボットのためのデータセットとベンチマーク
視覚障害者支援の盲導犬ロボット向けに、3D空間の経路と周囲環境を理解させるSAITデータセットとSA-Benchを構築し、空間認識を強化したVLMが歩行案内で既存手法を上回ることを示した。
原題: Space-Aware Instruction Tuning: Dataset and Benchmark for Guide Dog Robots Assisting the Visually Impaired / ByungOk Han, Woo-han Yun, Beom-Su Seo 他
日本語で読む → - 論文VLAロボティクス
ChatVLA:視覚・言語・行動モデルによるマルチモーダル理解とロボット制御の統合
視覚言語行動モデルにおける「忘却」と「タスク干渉」を解決するため、段階的アライメント訓練とMixture-of-Expertsを組み合わせたChatVLAを提案し、マルチモーダル理解と実ロボット操作の両方で高性能を実現した。
原題: ChatVLA: Unified Multimodal Understanding and Robot Control with Vision-Language-Action Model / Zhongyi Zhou, Yichen Zhu, Minjie Zhu 他
日本語で読む → - 論文VLAロボティクス
MapNav: 注釈付きセマンティックマップによる視覚言語ナビゲーションの新たな記憶表現
視覚言語ナビゲーションにおいて、過去の観測フレームの代わりに注釈付きセマンティックマップを構築・更新して用いることで、記憶と計算の負荷を抑えつつ最先端性能を達成した研究。
原題: MapNav: A Novel Memory Representation via Annotated Semantic Maps for Vision-and-Language Navigation / Lingfeng Zhang, Xiaoshuai Hao, Qinwen Xu 他
日本語で読む → - 論文VLA機械学習
スキーマ誘導シーングラフ推論:マルチエージェントLLMシステムによるSG²
シーングラフのスキーマを手がかりに、計画立案エージェントと情報検索エージェントが反復協調して空間推論を行うマルチエージェントLLMフレームワークを提案し、Q&Aや計画タスクで既存手法を上回る性能を示した。
原題: Schema-Guided Scene-Graph Reasoning based on Multi-Agent Large Language Model System / Yiye Chen, Harpreet Sawhney, Nicholas Gydé 他
日本語で読む → - 論文VLAロボティクス
4D表現で事前学習する自己回帰ロボットモデル
人間の動画から得た3D点追跡の4D表現を活用し、ロボット制御に効率的に転移できる自己回帰モデルARM4Rを提案した。
原題: Pre-training Auto-regressive Robotic Models with 4D Representations / Dantong Niu, Yuvan Sharma, Haoru Xue 他
日本語で読む → - 論文VLAロボティクス
Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
原題: Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models / Lucy Xiaoyang Shi, Brian Ichter, Michael Equi 他
日本語で読む → - 論文VLAロボティクス
GSCE: 信頼性の高いLLM駆動ドローン制御のための推論強化プロンプトフレームワーク
LLMによるドローン制御の信頼性を高めるため、ガイドライン・スキルAPI・制約・例から成るプロンプトフレームワークGSCEを提案し、複雑なタスクでの成功率と完全性を改善した。
原題: GSCE: A Prompt Framework with Enhanced Reasoning for Reliable LLM-driven Drone Control / Wenhao Wang, Yanyan Li, Long Jiao 他
日本語で読む → - 論文VLAロボティクス
視覚運動拡散ポリシー訓練のためのリアルタイム操作者介入
操作者が実行中の視覚運動拡散ポリシーにリアルタイムで介入し、修正動作を教示できる枠組みを提案し、剛体・変形・粒状物体タスクで性能向上を実証した。
原題: Real-Time Operator Takeover for Visuomotor Diffusion Policy Training / Marco Moletta, Michael C. Welle, Nils Ingelhag 他
日本語で読む → - 論文VLAロボティクス
身体性マルチモーダル大規模モデルの探求:開発・データセット・今後の展望
知覚・認知・行動を統合する身体性マルチモーダル大規模モデル(EMLM)について、LLMや大規模視覚モデルを含む発展、知覚・ナビゲーション・相互作用・シミュレーションの各側面、学習・評価用データセット、課題と今後の方向性を包括的にレビューした論文。
原題: Exploring Embodied Multimodal Large Models: Development, Datasets, and Future Directions / Shoubin Chen, Zehao Wu, Kai Zhang 他
日本語で読む → - 論文VLAAI
ImitDiff: 基盤モデルの事前知識を転移した妨害に頑健な視覚運動模倣ポリシー
視覚言語基盤モデルで指示をピクセル単位の意味マスクに変換し、二重解像度の知覚と拡散トランスフォーマで妨害に強い模倣学習ポリシーを実現した。
原題: ImitDiff: Transferring Foundation-Model Priors for Distraction Robust Visuomotor Policy / Yuhang Dong, Haizhou Ge, Yupei Zeng 他
日本語で読む → - 論文VLAロボティクス
EvolvingAgent: 長期タスクのためのカリキュラム自己進化エージェントと継続的世界モデル
人間の介入なしに自己計画・自己制御・自己反省を通じて長期タスクを遂行するエージェントを提案し、LLMとマルチモーダル経験を活用した計画、世界モデルに基づく行動制御、カリキュラム学習による反省機構を統合した。
原題: EvolvingAgent: Curriculum Self-evolving Agent with Continual World Model for Long-Horizon Tasks / Tongtong Feng, Xin Wang, Zekai Zhou 他
日本語で読む →
PR・アフィリエイト広告
