論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
対話型指示エラー検出と位置特定による連続環境での視覚言語ナビゲーション
連続環境での視覚言語ナビゲーションにおいて、ユーザーの指示エラーを検出し位置を特定して対話的に修正を求める手法を提案し、新しい評価指標SINを導入した。
原題: I2EDL: Interactive Instruction Error Detection and Localization / Francesco Taioli, Stefano Rosa, Alberto Castellini 他
日本語で読む → - 論文VLAロボティクス
スーパーマーケットロボットの対話インターフェース強化:多様な顧客意図に対応するマルチレベルLLM会話システム
スーパーマーケットロボット向けに、複数の小型特化型LLMを組み合わせた多段階会話インターフェースを設計し、GPT-4 Turboベースのシステムと比較して応答速度・ユーザー満足度などで優位性を示した。
原題: Enhancing Supermarket Robot Interaction: A Multi-Level LLM Conversational Interface for Handling Diverse Customer Intents / Chandran Nandkumar, Luka Peternel
日本語で読む → - 論文VLAロボティクス
OpenVLA: オープンソースの視覚-言語-行動モデル
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
原題: OpenVLA: An Open-Source Vision-Language-Action Model / Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルで駆動するヒューマノイドロボット「Alter3」の最小自己
GPT-4をヒューマノイドロボットAlter3に統合し、言語指示を動作に変換して自発的な運動を生成できることを示した。さらに鏡像自己認知やラバーハンド錯覚テストを通じて、身体を持つロボットが「最小自己」や主体感を持ちうるかを検討した。
原題: Minimal Self in Humanoid Robot "Alter3" Driven by Large Language Model / Takahide Yoshida, Suzune Baba, Atsushi Masumori 他
日本語で読む → - 論文VLAAI
拡散モデル強化学習による車両メタバース向け動的UAV支援VTマイグレーション
車両メタバースのデジタルツイン(VT)をUAVが支援して移行させる枠組みを提案し、拡散モデルベースの強化学習で移行判断を効率化、ヒューリスティック探索でUAVの動的経路計画を行う。
原題: Diffusion-based Reinforcement Learning for Dynamic UAV-assisted Vehicle Twins Migration in Vehicular Metaverses / Yongju Tong, Jiawen Kang, Junlong Chen 他
日本語で読む → - 論文VLAAI
人間を考慮した視覚言語ナビゲーション:動的な人間活動を組み込んだシミュレーションから現実への橋渡し
動的な人間活動を取り入れたHA-VLNタスクを提案し、HA3DシミュレータとHA-R2Rデータセット、および2種類のエージェントを構築して、人間がいる環境でのナビゲーション性能を評価した。
原題: Human-Aware Vision-and-Language Navigation: Bridging Simulation to Reality with Dynamic Human Interactions / Heng Li, Minghan Li, Zhi-Qi Cheng 他
日本語で読む → - 論文VLAロボティクス
閉ループLLMプランナのための不確実性ベース失敗検出の評価
MLLMの不確実性をトークン確率・エントロピー・自己申告信頼度で定量化し、閉ループLLMプランニングの失敗検出精度を比較評価した。
原題: Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners / Zhi Zheng, Qian Feng, Hang Li 他
日本語で読む → - 論文VLAロボティクス
Dreamitate: 動画生成による実世界視覚運動ポリシー学習
動画拡散モデルを人間の実演で微調整し、新しい場面の画像から生成した実行動画でロボットを直接制御することで、既存の行動クローニングより高い汎化性能を実現した。
原題: Dreamitate: Real-World Visuomotor Policy Learning via Video Generation / Junbang Liang, Ruoshi Liu, Ege Ozguroglu 他
日本語で読む → - 論文VLA画像認識
視覚運動制御のための畳み込み注入器による事前学習済みViTの適応
事前学習済みViTに畳み込みを注入する追加モジュールCoInを提案し、視覚運動制御タスクへの適応性能を向上させた。
原題: Adapting Pretrained ViTs with Convolution Injector for Visuo-Motor Control / Dongyoon Hwang, Byungkun Lee, Hojoon Lee 他
日本語で読む → - 論文自動運転VLA画像認識
CarLLaVA:カメラのみの閉ループ自動運転のための視覚言語モデル
LLaVAの視覚エンコーダとLLaMAをバックボーンに用い、カメラ入力のみでCARLA自動運転チャレンジ2.0のセンサートラックで1位を獲得した視覚言語モデルを提案。
原題: CarLLaVA: Vision language models for camera-only closed-loop driving / Katrin Renz, Long Chen, Ana-Maria Marcu 他
日本語で読む → - 論文VLAロボティクス
基盤モデルによる自然言語駆動の組立作業に向けて
LLMを上位の制御方針として使い、高精度な挿入作業など個別に訓練したスキル群へ動的に切り替えることで、自然言語指示による組立作業を実現する手法を提案した。
原題: Towards Natural Language-Driven Assembly Using Foundation Models / Omkar Joglekar, Tal Lancewicki, Shir Kozlovsky 他
日本語で読む → - 論文VLAロボティクス
MMRo:マルチモーダルLLMは家庭内ロボットの脳として適格か?
家庭内ロボットの脳としてマルチモーダルLLMを評価する初のベンチマークMMRoを提案し、知覚・計画・視覚推論・安全性の4能力14指標で商用・オープンソースモデルを比較した。
原題: MMRo: Are Multimodal LLMs Eligible as the Brain for In-Home Robotics? / Jinming Li, Yichen Zhu, Zhiyuan Xu 他
日本語で読む → - 論文VLAロボティクス
RoboCoder: 大規模言語モデルによる基本スキルから一般タスクへのロボット学習
大規模言語モデルと実環境フィードバックを組み合わせ、基本スキルから複雑なタスクへとロボットが自律的に学習するフレームワークを提案し、80タスクのベンチマークで36%の相対改善を達成した。
原題: RoboCoder: Robotic Learning from Basic Skills to General Tasks with Large Language Models / Jingyao Li, Pengguang Chen, Sitong Wu 他
日本語で読む → - 論文VLAロボティクス
RoboUniView: ロボット操作のための統一視点表現を持つ視覚言語モデル
カメラパラメータに依存しない統一視点表現を事前学習で獲得し、それに基づいてロボット操作の行動を生成することで、異なるロボットプラットフォーム間での性能差を解消した手法を提案。
原題: RoboUniView: Visual-Language Model with Unified View Representation for Robotic Manipulation / Fanfan Liu, Feng Yan, Liming Zheng 他
日本語で読む → - 論文VLAロボティクス
言語誘導ロボット政策評価のためのコントラストセット
言語指示に基づくロボットの評価において、テスト事例に小さな摂動を加える「コントラストセット」を導入し、実験者の負担を抑えつつ政策の特性を明らかにする手法を提案した。
原題: Contrast Sets for Evaluating Language-Guided Robot Policies / Abrar Anwar, Rohan Gupta, Jesse Thomason
日本語で読む → - 論文VLAロボティクス
知覚スティッチング:視覚運動ロボットポリシーのためのゼロショット知覚エンコーダ転送
異なる視覚運動ポリシー間で視覚エンコーダの潜在特徴を整列させ、視覚エンコーダを直接つなぎ合わせることで、大きな視覚変化に対するゼロショット適応を可能にした。
原題: Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies / Pingcheng Jian, Easop Lee, Zachary Bell 他
日本語で読む → - 論文VLA画像認識
ARDuP: 汎用ポリシーのためのアクティブ領域動画拡散
動画生成ベースのポリシー学習において、動きの手がかりから自動的に「アクティブ領域」を抽出し、その領域に注目して拡散モデルで計画・行動生成する手法を提案。シミュレータと実世界データで成功率を改善。
原題: ARDuP: Active Region Video Diffusion for Universal Policies / Shuaiyi Huang, Mara Levy, Zhenyu Jiang 他
日本語で読む → - 論文VLA/強化学習機械学習
Plan-Seq-Learn: 言語モデルで誘導する強化学習による長期的ロボティクスタスクの解法
LLMの高レベル計画と運動計画を組み合わせ、事前定義されたスキルなしで強化学習を効率的に誘導し、最大10段階の長期的ロボティクスタスクを視覚入力から85%以上の成功率で解く手法を提案。
原題: Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks / Murtaza Dalal, Tarun Chiruvolu, Devendra Chaplot 他
日本語で読む → - 論文VLAロボティクス
ビデオ言語クリティック:言語条件付きロボティクス向けの転移可能な報酬関数
クロスエンボディメントの動画データから対照学習と時間的ランキングで報酬モデルを学習し、言語条件付きロボットタスクのサンプル効率を向上させる手法を提案。
原題: Video-Language Critic: Transferable Reward Functions for Language-Conditioned Robotics / Minttu Alakuijala, Reginald McLean, Isaac Woungang 他
日本語で読む → - 論文VLAAI
視覚と言語によるナビゲーションのための生成事前学習トランスフォーマー
GPT2デコーダで軌跡系列の依存関係をモデル化し、履歴エンコーダを不要にしたVLN手法を提案。模倣学習による事前学習と強化学習による微調整を分離し、既存の複雑なエンコーダベース手法を上回る性能を達成した。
原題: Vision-and-Language Navigation Generative Pretrained Transformer / Wen Hanlin
日本語で読む → - 論文VLAロボティクス
Octo: オープンソースの汎用ロボットポリシー
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
原題: Octo: An Open-Source Generalist Robot Policy / Octo Model Team, Dibya Ghosh, Homer Walke 他
日本語で読む → - 論文VLAAI
UAVと大規模言語モデルの統合:現状と将来への道筋
UAVに大規模言語モデル(LLM)を統合する研究をレビューし、アーキテクチャの適合性やスペクトルセンシング・意思決定への応用可能性を整理した。
原題: Large Language Models for UAVs: Current State and Pathways to the Future / Shumaila Javaid, Nasir Saeed, Bin He
日本語で読む → - 論文VLAロボティクス
GameVLM:視覚言語モデルとゼロサムゲームによるロボットタスク計画の意思決定フレームワーク
GPT-4Vなどの視覚言語モデルを複数エージェントで活用し、ゼロサムゲーム理論で計画の不一致を解消することで、ロボットのタスク計画の意思決定を強化するフレームワークを提案した。実機実験で平均83.3%の成功率を達成。
原題: GameVLM: A Decision-making Framework for Robotic Task Planning Based on Visual Language Models and Zero-sum Games / Aoran Mei, Jianhua Wang, Guo-Niu Zhu 他
日本語で読む → - 論文VLAロボティクス
一貫性ポリシー:一貫性蒸留による視覚運動ポリシーの高速化
事前学習済みDiffusion Policyから一貫性蒸留することで、推論を桁違いに高速化しつつ成功率を維持する視覚運動制御ポリシーを提案した。
原題: Consistency Policy: Accelerated Visuomotor Policies via Consistency Distillation / Aaditya Prasad, Kevin Lin, Jimmy Wu 他
日本語で読む → - 論文VLAロボティクス
VADER: マルチロボット・人間協調のための視覚的アフォーダンス検出とエラー回復
視覚的アフォーダンス検出とエラー認識を行い、他ロボットや人間への助け要請を新たなスキルとして組み込むことで、長期的タスクの中断から回復して完遂するフレームワークVADERを提案した。
原題: VADER: Visual Affordance Detection and Error Recovery for Multi Robot Human Collaboration / Michael Ahn, Montserrat Gonzalez Arenas, Matthew Bennice 他
日本語で読む → - 論文VLA画像認識
共有RGB-Dフィールドの学習:LiDAR-カメラ3D知覚のためのラベル効率の良い統一自己教師あり事前学習
LiDARとカメラの3D知覚モデル向けに、NeRFを活用して両モダリティを統一的にマスク再構成する自己教師あり事前学習手法NS-MAEを提案し、ラベル効率の良いファインチューニングで従来手法を上回る性能を示した。
原題: Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception / Xiaohao Xu, Ye Li, Tianyi Zhang 他
日本語で読む → - 論文VLAロボティクス
ビジョントランスフォーマーによるエンドツーエンドの視覚ベース四 rotor 障害物回避
高密度な環境で高速飛行するクアッドロータの視覚ベース障害物回避において、ViTを用いたエンドツーエンド制御を初めて実現し、速度増加や未知環境への汎化で優位性を示した。
原題: Vision Transformers for End-to-End Vision-Based Quadrotor Obstacle Avoidance / Anish Bhattacharya, Nishanth Rao, Dhruv Parikh 他
日本語で読む → - 論文VLAロボティクス
言語から計画抽象を学習する
言語注釈付きデモンストレーションを用いて、記号的な抽象行動空間と潜在状態抽象を自動獲得し、長期的な計画を可能にするフレームワークPARLを提案。
原題: Learning Planning Abstractions from Language / Weiyu Liu, Geng Chen, Joy Hsu 他
日本語で読む → - 論文VLAロボティクス
行動クローニング方策の汎化性能を統計的に評価する枠組み
少数のロールアウトから、行動クローニング方策の性能分布の下限をユーザー指定の信頼度で保証する統計的評価フレームワークを提案し、シミュレーションと実機で検証した。
原題: How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation / Joseph A. Vincent, Haruki Nishimura, Masha Itkina 他
日本語で読む → - 論文VLA自然言語
Robo-Instruct: コードLLMの微調整のためのシミュレータ拡張命令アライメント
ロボット制御プログラム生成用の小規模LLMを微調整するため、タスク実行中に動的にシミュレーション環境を生成して物理制約を検証し、命令とプログラムのアライメントを改善する手法を提案。
原題: Robo-Instruct: Simulator-Augmented Instruction Alignment For Finetuning Code LLMs / Zichao Hu, Junyi Jessy Li, Arjun Guha 他
日本語で読む →
PR・アフィリエイト広告
