論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA画像認識
動画と言語による長期タスクの計画
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
原題: Video Language Planning / Yilun Du, Mengjiao Yang, Pete Florence 他
日本語で読む → - 論文VLAロボティクス
言葉を動作に:言語ガイド付き反復動作改善による多様なヒューマノイドロボット行動の学習
自然言語コマンドからヒューマノイドロボットの制御方策を学習し、反復的な動作改善によって歩行や跳躍、キックなどの多様な動作を効率的に獲得する手法を提案した。
原題: Words into Action: Learning Diverse Humanoid Robot Behaviors using Language Guided Iterative Motion Refinement / K. Niranjan Kumar, Irfan Essa, Sehoon Ha
日本語で読む → - 論文VLAロボティクス
言語訂正による対話型ロボット学習
大規模言語モデルを活用し、ユーザーが言葉でロボットの誤りを訂正すると、そのフィードバックから視覚運動方策を更新して同じ失敗を繰り返さない学習システムOLAFを提案した。
原題: Interactive Robot Learning from Verbal Correction / Huihan Liu, Alice Chen, Yuke Zhu 他
日本語で読む → - 論文VLA機械学習
階層的計画のための構成型基盤モデル
言語・視覚・行動の基盤モデルを組み合わせ、長期的な卓上操作タスクを階層的に計画・実行する手法を提案。
原題: Compositional Foundation Models for Hierarchical Planning / Anurag Ajay, Seungwook Han, Yilun Du 他
日本語で読む → - 論文VLAロボティクス
対数極座標型センサによる行動と注意焦点制御の学習
対数極座標型画像と視線制御を組み合わせ、A3CとLSTMでAtariゲームのプレイ方策と視線制御方策を学習し、画素数を5分の1に削減しても性能を維持できることを示した。
原題: Learning Actions and Control of Focus of Attention with a Log-Polar-like Sensor / Robin Göransson, Volker Krueger
日本語で読む → - 論文VLAロボティクス
時系列視覚言語モデルによる加熱調理中の食品状態変化認識
調理ロボット向けに、視覚言語モデルを時系列で用いて加熱による食品の状態変化を統一的に認識する手法を提案し、実機で有効性を確認した。
原題: Recognition of Heat-Induced Food State Changes by Time-Series Use of Vision-Language Model for Cooking Robot / Naoaki Kanazawa, Kento Kawaharazuka, Yoshiki Obinata 他
日本語で読む → - 論文VLAロボティクス
スマート自己教師ありインフラからの動画予測を用いた接続自律走行車の動作計画
スマートインフラが自己教師あり学習で生成する将来占有予測を接続自律走行車の動作計画に活用し、混雑環境での有効性を検証した研究。
原題: Connected Autonomous Vehicle Motion Planning with Video Predictions from Smart, Self-Supervised Infrastructure / Jiankai Sun, Shreyas Kousik, David Fridovich-Keil 他
日本語で読む → - 論文VLAロボティクス
MAVIS: SE2(3)に基づく厳密なIMU事前積分を用いたマルチカメラ拡張視覚慣性SLAM
複数の部分的に重なるカメラとIMUを統合し、SE2(3)の自己同型写像の指数関数に基づく改良IMU事前積分を導入した最適化ベースの視覚慣性SLAMシステムを提案。Hilti SLAM Challenge 2023の全視覚-IMUトラックで1位を獲得。
原題: MAVIS: Multi-Camera Augmented Visual-Inertial SLAM using SE2(3) Based Exact IMU Pre-integration / Yifu Wang, Yonhon Ng, Inkyu Sa 他
日本語で読む → - 論文VLAロボティクス
大規模視覚言語モデルを用いた移動ロボットによる日常生活パトロールでの意味的シーン変化検出
大規模視覚言語モデルのVQAを活用し、参照画像と現在画像に複数の質問を投げかけて意味的な変化を検出する手法を提案し、移動ロボットによる実環境パトロールで有効性を示した。
原題: Semantic Scene Difference Detection in Daily Life Patroling by Mobile Robots using Pre-Trained Large-Scale Vision-Language Model / Yoshiki Obinata, Kento Kawaharazuka, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
Diffusion-EDFs: 視覚ロボット操作のためのSE(3)上の双同変ノイズ除去生成モデリング
SE(3)上の双同変拡散モデルを提案し、5〜10回の人間デモンストレーションだけで視覚ロボット操作を効率的に学習できることを示した。
原題: Diffusion-EDFs: Bi-equivariant Denoising Generative Modeling on SE(3) for Visual Robotic Manipulation / Hyunwoo Ryu, Jiwoo Kim, Hyunseok An 他
日本語で読む → - 論文VLAロボティクス
NeRF-VINS:リアルタイムNeRF地図に基づく視覚慣性ナビゲーションシステム
NeRFで生成した新規視点画像をIMU・単眼カメラと密結合し、リソース制約のある組み込み環境で10Hz以上のリアルタイム自己位置推定を実現した。
原題: NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System / Saimouli Katragadda, Woosik Lee, Yuxiang Peng 他
日本語で読む → - 論文VLAロボティクス
自然言語対話と大規模言語モデルによるヒューマノイドロボット行動の漸進的学習
大規模言語モデルを活用し、人間との自然な対話を通じてヒューマノイドロボットが複雑な行動を漸進的に学習するシステムを提案した。
原題: Incremental Learning of Humanoid Robot Behavior from Natural Interaction and Large Language Models / Leonard Bärmann, Rainer Kartmann, Fabian Peller-Konrad 他
日本語で読む → - 論文VLAロボティクス
近くにあるものは何?:屋内生活環境におけるロボット視覚言語ナビゲーション強化のための部屋局所性学習
屋内視覚言語ナビゲーション(VLN)において、一般的な住宅間取りの常識を学習し、現在の観測から近隣の部屋を予測することで、未知環境でのナビゲーション性能を向上させるモデルWINを提案した。
原題: What Is Near?: Room Locality Learning for Enhanced Robot Vision-Language-Navigation in Indoor Living Environments / Muraleekrishna Gopinathan, Jumana Abu-Khalaf, David Suter 他
日本語で読む → - 論文VLAロボティクス
言語条件付き変化点検出によるロボット軌道のサブタスク同定
自然言語指示を手がかりに、長いロボット軌道をサブタスクに分割する言語条件付き変化点検出法を提案し、動画モーメント検索との類似性を活かして精度を改善した。
原題: Language-Conditioned Change-point Detection to Identify Sub-Tasks in Robotics Domains / Divyanshu Raj, Chitta Baral, Nakul Gopalan
日本語で読む → - 論文VLAロボティクス
PFL-LSTR:車内外情報に基づく運転者意図推定のためのプライバシー保護フレームワーク
車内映像と車外映像を組み合わせ、連邦学習と長期短期トランスフォーマー(LSTR)を用いて他車の運転者の車線変更意図を予測するプライバシー保護フレームワークを提案した。
原題: PFL-LSTR: A privacy-preserving framework for driver intention inference based on in-vehicle and out-vehicle information / Runjia Du, Pei Li, Sikai Chen 他
日本語で読む → - 論文VLAロボティクス
安全チップを差し込め:LLM駆動ロボットエージェントへの制約の強制
LLMエージェントに線形時相論理に基づく安全制約モジュールを組み込み、禁止行動の理解・違反推論・不安全行動の除去を可能にした。VirtualHomeと実機で安全性制約の厳守を実証。
原題: Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents / Ziyi Yang, Shreyas S. Raman, Ankit Shah 他
日本語で読む → - 論文VLAロボティクス
人間支援型言語プランナーによる生涯ロボット学習
LLMベースのプランナーが新しいスキルを問い合わせ、人間の支援を受けてロボットに効率的に教え込み、獲得したスキルを将来のタスクで再利用できる生涯学習フレームワークを提案した。
原題: Lifelong Robot Learning with Human Assisted Language Planners / Meenal Parakh, Alisha Fong, Anthony Simeonov 他
日本語で読む → - 論文VLAロボティクス
自己回復プロンプティング:基盤モデルと自己回復を備えた汎用サービスロボットシステム
複数の基盤モデルを組み合わせた汎用サービスロボットシステムを構築し、失敗時に情報探索とプロンプト修正で自己回復する仕組みを提案・検証した。
原題: Self-Recovery Prompting: Promptable General Purpose Service Robot System with Foundation Models and Self-Recovery / Mimo Shirasaka, Tatsuya Matsushima, Soshi Tsunashima 他
日本語で読む → - 論文VLAロボティクス
ジェスチャー情報に基づく基盤モデルを用いたロボット支援
大規模言語モデルを活用し、指差しなどのジェスチャーと指示を柔軟に解釈して人間の意図を推論するロボット協調フレームワークGIRAFを提案。
原題: Gesture-Informed Robot Assistance via Foundation Models / Li-Heng Lin, Yuchen Cui, Yilun Hao 他
日本語で読む → - 論文VLAロボティクス
不確実なイベント検出器下でのLTL指示に基づく行動とクエリ方策の強化学習
イベント検出の不確実性でLTL指示が分岐する状況に対応するため、信念LTLの埋め込み・行動方策・クエリ方策を同時に学習する強化学習フレームワークLAQBLを提案した。
原題: Reinforcement Learning of Action and Query Policies with LTL Instructions under Uncertain Event Detector / Wataru Hatanaka, Ryota Yamashina, Takamitsu Matsubara
日本語で読む → - 論文VLAロボティクス
MUTEX: マルチモーダルなタスク指定から統合ポリシーを学習
動画・画像・テキスト・音声など6種類のモダリティで与えられたタスク指示を統合的に理解し、Transformerでクロスモーダル推論を行うポリシー学習手法を提案。
原題: MUTEX: Learning Unified Policies from Multimodal Task Specifications / Rutav Shah, Roberto Martín-Martín, Yuke Zhu
日本語で読む → - 論文VLAロボティクス
方策としてのエネルギーベースモデルの再検討:ランキングノイズコントラスティブ推定とエネルギー補間モデル
高次元連続空間でも訓練可能なエネルギーベースモデル方策を提案し、ランキングノイズコントラスティブ推定と学習可能な負例サンプラーで効率的に学習する手法を開発した。
原題: Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models / Sumeet Singh, Stephen Tu, Vikas Sindhwani
日本語で読む → - 論文VLAロボティクス
CLIPUNetr:CLIP駆動の参照表現セグメンテーションによる未校正ビジュアルサーボ制御のためのヒューマンロボットインターフェース支援
自然言語の参照表現から対象領域を切り出すCLIPUNetrを提案し、未校正画像ベースビジュアルサーボ制御に統合して実環境でのロボット操作を支援した。
原題: CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation / Chen Jiang, Yuchen Yang, Martin Jagersand
日本語で読む → - 論文VLAロボティクス
OceanChat:自然言語で自律型水中ロボットを操縦
大規模言語モデルを活用し、人間の抽象的な指示を水中ロボットの実行可能な動作計画に変換する閉ループ型タスク・モーション計画システムを提案。動的な水中環境に対応する再計画機能と写実的シミュレータも開発した。
原題: OceanChat: Piloting Autonomous Underwater Vehicles in Natural Language / Ruochu Yang, Mengxue Hou, Junkai Wang 他
日本語で読む → - 論文VLAロボティクス
動く前に議論せよ:マルチエキスパート議論による視覚言語ナビゲーション
大規模モデルを分野別エキスパートと見立て、各ステップで議論しながら進むゼロショット視覚言語ナビゲーション手法を提案し、R2Rで大幅な性能向上を達成した。
原題: Discuss Before Moving: Visual Language Navigation via Multi-expert Discussions / Yuxing Long, Xiaoqi Li, Wenzhe Cai 他
日本語で読む → - 論文VLAロボティクス
HiCRISP: LLMを用いた階層的閉ループロボット自己修正プランナ
LLMによるロボットタスク実行中に、高レベル計画と低レベル行動の誤りを階層的に監視・自己修正する閉ループ型プランニングフレームワークを提案し、仮想・実環境で有効性を示した。
原題: HiCRISP: An LLM-based Hierarchical Closed-Loop Robotic Intelligent Self-Correction Planner / Chenlin Ming, Jiacheng Lin, Pangkit Fong 他
日本語で読む → - 論文VLAロボティクス
自律ロボットのための階層的生成モデリング
人間の運動制御の階層的構造を模倣し、移動・操作・把持を統合する複雑なタスクをヒューマノイドロボットが自律的に遂行できる階層的生成モデルを提案した。
原題: Hierarchical generative modelling for autonomous robots / Kai Yuan, Noor Sajid, Karl Friston 他
日本語で読む → - 論文VLAロボティクス
HuBo-VLM:人とロボットのインタラクションタスク向け統合視覚言語モデル
人とロボットのインタラクションにおける物体検出と視覚的グラウンディングを、単一のTransformerベース視覚言語モデルで統合的に解く手法を提案し、Talk2Carベンチマークで有効性を示した。
原題: HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks / Zichao Dong, Weikun Zhang, Xufeng Huang 他
日本語で読む → - 論文VLA画像認識
AerialVLN: UAVのための視覚と言語によるナビゲーション
UAVが屋外環境で視覚と言語指示に従ってナビゲーションする新しいタスクAerialVLNを提案し、25の都市規模シーンを再現した3Dシミュレータとベースラインモデルを開発した。
原題: AerialVLN: Vision-and-Language Navigation for UAVs / Shubo Liu, Hongsheng Zhang, Yuankai Qi 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる不確実性分析と能動的質問を用いた対話型ロボット行動計画
自然言語指示の曖昧さや情報不足をLLMが分析し、人間に質問して不足情報を補いながらロボットの行動計画を立てる対話型手法を提案し、料理タスクで有効性を検証した。
原題: Interactively Robot Action Planning with Uncertainty Analysis and Active Questioning by Large Language Model / Kazuki Hori, Kanata Suzuki, Tetsuya Ogata
日本語で読む →
PR・アフィリエイト広告
