論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
トランスフォーマーは本当にロボティクスの基盤なのか?
GPTベースのロボティクスは計算コストや訓練時間、オフボード制御などの制約が大きく、昆虫の脳の自律性と対比して生物から学ぶべき点を論じた論文。
原題: Are Transformers Truly Foundational for Robotics? / James A. R. Marshall, Andrew B. Barron
日本語で読む → - 論文VLAロボティクス
ロボットロジックのパラメータ化における生成AIの理解
映画撮影を例に、LLMが自然言語によるエンドユーザーの意図を解釈し、ロボットアームの低レベル動作パラメータに変換するプロセスを探求した研究。
原題: Understanding Generative AI in Robot Logic Parametrization / Yuna Hwang, Arissa J. Sato, Pragathi Praveena 他
日本語で読む → - 論文VLA画像認識
視覚的場所認識における新興トレンドと研究機会の探求
ロボットの自己位置推定やSLAMで重要となる視覚的場所認識について、Vision-Languageモデルなど最近の研究動向と今後の機会を概観したサーベイ。
原題: Exploring Emerging Trends and Research Opportunities in Visual Place Recognition / Antonios Gasteratos, Konstantinos A. Tsintotas, Tobias Fischer 他
日本語で読む → - 論文VLAロボティクス
CogACT: 認知と行動を融合するロボット操作のための基盤的視覚-言語-行動モデル
VLMの出力を条件とする専用の拡散行動トランスフォーマーを組み込んだ新しいVLAアーキテクチャを提案し、ロボット操作の成功率と汎化性能を大幅に向上させた。
原題: CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation / Qixiu Li, Yaobo Liang, Zeyu Wang 他
日本語で読む → - 論文VLA画像認識
物体検出モダリティを統合した視覚言語モデルによる自動運転エージェントの強化
自動運転向け視覚言語モデルにYOLOSベースの物体検出ネットワークを追加し、マルチビュー処理を改善することで、視覚的質問応答タスクの性能を向上させた研究。
原題: Integrating Object Detection Modality into Visual Language Model for Enhanced Autonomous Driving Agent / Linfeng He, Yiming Sun, Sihao Wu 他
日本語で読む → - 論文自動運転/VLAロボティクス
悪天候下の自動運転に向けたMLLMベースの新手法
GPT-4oを用いたマルチモーダル大規模言語モデル(MLLM)をLimSim++とCARLAシミュレータに統合し、悪天候や低視界などの厳しい環境下での自動運転エージェントの性能を評価した。
原題: A Novel MLLM-based Approach for Autonomous Driving in Different Weather Conditions / Sonda Fourati, Wael Jaafar, Noura Baccar
日本語で読む → - 論文VLAロボティクス
マルチモーダル基盤モデルによる計画時の不確実性を分離・定量化する形式的手法
視覚理解に起因する知覚不確実性と計画生成の決定不確実性を分離し、形式検証とConformal Predictionで定量化して、能動的再観測や高確信データでの微調整によりロボットタスクの信頼性を高める枠組みを提案した。
原題: Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework / Neel P. Bhatt, Yunhao Yang, Rohan Siva 他
日本語で読む → - 論文VLAロボティクス
ロボット学習タスクにおける視覚・言語・行動モデルのベンチマーク評価
GPT-4oやOpenVLAなど3つのVLAモデルを20種類の操作タスクで評価し、性能のばらつきや多段階計画の難しさを明らかにした。
原題: Benchmarking Vision, Language, & Action Models on Robotic Learning Tasks / Pranav Guruprasad, Harshvardhan Sikka, Jaewoo Song 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルとビヘイビアツリーによるロボットの失敗対応
視覚言語モデル(VLM)を監視役として使い、ロボットのタスク実行中の未知の失敗を検知し、不足する条件やスキルをビヘイビアツリーに組み込むことで自律的に回復できるようにする手法を提案した。
原題: Addressing Failures in Robotics using Vision-Based Language Models (VLMs) and Behavior Trees (BT) / Faseeh Ahmad, Jonathan Styrud, Volker Krueger
日本語で読む → - 論文VLAロボティクス
ロボットの経験を実世界の自然言語で接地するRONAR
マルチモーダルなロボット経験をLLMで自然言語ナレーションに変換し、行動説明や失敗分析、人間との対話による復旧を支援するシステムを提案。
原題: I Can Tell What I am Doing: Toward Real-World Natural Language Grounding of Robot Experiences / Zihan Wang, Brian Liang, Varad Dhat 他
日本語で読む → - 論文VLAロボティクス
基盤モデルを用いたグローバルタスク計画とローカル行動拡張のための遠隔生活支援ロボットインターフェースシステム
言語指示にテンプレート変数を用いて不確実な情報を伝え、基盤モデルでロボットの行動を計画・拡張する遠隔生活支援システムを提案し、実タスクで有効性を示した。
原題: Remote Life Support Robot Interface System for Global Task Planning and Local Action Expansion Using Foundation Models / Yoshiki Obinata, Haoyu Jia, Kento Kawaharazuka 他
日本語で読む → - 論文VLAロボティクス
IGOR: 身体性AI基盤モデルのための画像ゴール表現による原子的制御単位
画像間の変化を潜在行動に圧縮し、人間と多様なロボットに共通する意味的に一貫した行動空間を学習することで、知識転移や言語との整合、ロボット制御を可能にする基盤モデルを提案した。
原題: IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI / Xiaoyu Chen, Junliang Guo, Tianyu He 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルは文脈内価値学習器である
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
原題: Vision Language Models are In-Context Value Learners / Yecheng Jason Ma, Joey Hejna, Ayzaan Wahid 他
日本語で読む → - 論文VLAロボティクス
人間との対話による推論時ポリシーステアリング
事前学習済みの生成ポリシーを微調整せずに、人間の介入でサンプリング過程をバイアスし、意図に沿った行動を引き出す枠組みを提案。
原題: Inference-Time Policy Steering through Human Interactions / Yanwei Wang, Lirui Wang, Yilun Du 他
日本語で読む → - 論文VLAロボティクス
InstruGen: 大規模マルチモーダルモデルによる視覚言語ナビゲーション向け指示文の自動生成
YouTubeの住宅ツアー動画を実環境に近いナビゲーション場面として使い、大規模マルチモーダルモデルで多様で高品質な経路と指示文のペアを自動生成する手法を提案し、未見環境での性能を向上させた。
原題: InstruGen: Automatic Instruction Generation for Vision-and-Language Navigation Via Large Multimodal Models / Yu Yan, Rongtao Xu, Jiazhao Zhang 他
日本語で読む → - 論文VLAcs.MA
二つの頭脳は一つより優れる:人間とロボットの対話のための協調型LLMエージェント
複数のLLMエージェントを協調させてロボット指示を生成する手法を検証し、一部の協調構成がエラー削減と抽象問題解決に有効であることを示した。
原題: Two Heads Are Better Than One: Collaborative LLM Embodied Agents for Human-Robot Interaction / Mitchell Rosser, Marc. G Carmichael
日本語で読む → - 論文VLAロボティクス
MissionGPT: ロボティクストランスフォーマーモデルに基づく移動ロボットのミッションプランナー
Transformerと大規模言語モデルを用いて、知覚アルゴリズムなしにカメラ映像のみから移動ロボットのタスクを計画・実行するミッションプランナーを提案し、基本動作で50%以上の成功率を達成した。
原題: MissionGPT: Mission Planner for Mobile Robot based on Robotics Transformer Model / Vladimir Berman, Artem Bazhenov, Dzmitry Tsetserukou
日本語で読む → - 論文VLAAI
初心者から熟練者へ:ステップ単位強化学習によるLLMエージェントの政策最適化
専門家とエージェントの行動を比較して中間報酬を自動生成し、ステップ単位の強化学習でLLMエージェントを効率的に訓練する手法StepAgentを提案。
原題: From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning / Zhirui Deng, Zhicheng Dou, Yutao Zhu 他
日本語で読む → - 論文VLAロボティクス
Tra-MoE: 複数ドメインからの軌道予測モデル学習による適応的ポリシー条件付け
スパースMoEアーキテクチャで任意点軌道を予測し、適応的ポリシー条件付けでロボット制御を改善する手法を提案。
原題: Tra-MoE: Learning Trajectory Prediction Model from Multiple Domains for Adaptive Policy Conditioning / Jiange Yang, Haoyi Zhu, Yating Wang 他
日本語で読む → - 論文VLAロボティクス
目標条件付き探索による動画モデルの行動への接地
大規模動画モデルを自己探索によって連続行動に直接接地させ、報酬や行動ラベルなしで複雑なタスクを解くフレームワークを提案した。
原題: Grounding Video Models to Actions through Goal Conditioned Exploration / Yunhao Luo, Yilun Du
日本語で読む → - 論文VLA画像認識
AdaVLN: 動く人間がいる連続屋内環境での視覚言語ナビゲーション
動的に動く人間障害物を含む屋内3D環境で自然言語指示に基づきロボットをナビゲートさせる新タスクAdaVLNを提案し、シミュレータとデータセットを構築してベースライン評価を行った。
原題: AdaVLN: Towards Visual Language Navigation in Continuous Indoor Environments with Moving Humans / Dillon Loh, Tomasz Bednarz, Xinxing Xia 他
日本語で読む → - 論文VLAロボティクス
すべてを統べる一つ:自然言語によるコミュニケーション・知覚・行動の統合
大規模言語モデル(LLM)と改良ReActフレームワークを組み合わせ、自然言語指示を動的な環境でロボットの実行可能な行動に変換するアーキテクチャを提案した。
原題: One to rule them all: natural language to bind communication, perception and action / Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone
日本語で読む → - 論文VLA画像認識
生成的ワールドエクスプローラー
エージェントが大規模3D世界を心的に探索し、想像した観測で信念を更新して意思決定に活かすフレームワークを提案。
原題: Generative World Explorer / Taiming Lu, Tianmin Shu, Alan Yuille 他
日本語で読む → - 論文VLAロボティクス
CLIP-RT: 自然言語監督から言語条件付きロボット方策を学習
非専門家が自然言語でロボットのデモを収集できる枠組みと、そのデータから言語条件付き視覚運動方策を学習するVLAモデルCLIP-RTを提案し、OpenVLAより7倍小さいパラメータで成功率を24%上回った。
原題: CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision / Gi-Cheon Kang, Junghyun Kim, Kyuhwan Shim 他
日本語で読む → - 論文VLAロボティクス
視界に時を刻む:LLM駆動ロボットの動的環境知覚のためのシーングラフフィルタリング
RGB-Dデータから意味的シーングラフを生成・更新し、パーティクルフィルタで動的環境での物体位置推定を行うLLM駆動ロボット制御アーキテクチャを提案した。
原題: Time is on my sight: scene graph filtering for dynamic environment perception in an LLM-driven robot / Simone Colombani, Luca Brini, Dimitri Ognibene 他
日本語で読む → - 論文VLAAI
オープンエンド対話からの目標推論
LLMとの対話から自然言語で目標を抽出し、ベイズ推論で不確実性を扱いながら多様なユーザー目標をオンラインで学習・達成する手法を提案。
原題: Goal Inference from Open-Ended Dialog / Rachel Ma, Jingyi Qu, Andreea Bobu 他
日本語で読む → - 論文VLA画像認識
HiRT: 階層型ロボットトランスフォーマーによるロボット制御の強化
大規模VLAモデルの計算コストと遅延を抑えるため、低頻度のVLMと高頻度の視覚ポリシーを組み合わせた階層型トランスフォーマーを提案し、動的タスクの成功率を向上させた。
原題: HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers / Jianke Zhang, Yanjiang Guo, Xiaoyu Chen 他
日本語で読む → - 論文VLAロボティクス
実行時観察介入で視覚言語行動モデルの視覚的堅牢性を向上
VLAモデルが苦手とする妨害物体や背景色などのタスク無関係な視覚的詳細に対し、実行時に感度の高い領域を特定し自動画像編集で最小限の修正を加えるBYOVLAを提案。ファインチューニング不要で成功率低下を防ぐ。
原題: Run-time Observation Interventions Make Vision-Language-Action Models More Visually Robust / Asher J. Hancock, Allen Z. Ren, Anirudha Majumdar
日本語で読む → - 論文VLAロボティクス
UNCOM: 卓上環境におけるゼロショット文脈認識コマンド理解
音声・ジェスチャー・場面文脈を統合し、事前学習モデルを活用してゼロショットでロボットへの自然言語指示を構造化するハイブリッドフレームワークを提案。TIAGo++ロボットで実環境評価し82.39%の成功率を達成。
原題: UNCOM: Zero-shot Context-Aware Command Understanding for Tabletop Scenarios / Antonio Galiza Cerdeira Gonzalez, Paweł Gajewski, Bipin Indurkhya
日本語で読む → - 論文VLAロボティクス
ニューロシンボリックなスキル発見による条件付き多段階プランニング
少数のラベルなし低レベルスキル軌道から汎化可能な高レベル記号スキルを獲得し、視覚言語モデルで解釈して多段階プランニングを行う手法を提案。実世界の雑然とした環境でも長期的タスクを実行できることを示した。
原題: Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning / Hakan Aktas, Yigit Yildirim, Ahmet Firat Gamsiz 他
日本語で読む →
PR・アフィリエイト広告
