論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/4/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
身体性視覚言語計画の核心的課題
視覚と言語を組み合わせて物理環境で行動する身体性視覚言語計画(EVLP)タスクを整理し、手法・評価指標・シミュレータ・データセットを比較するとともに、今後の研究が取り組むべき核心的課題を提示したサーベイ。
原題: Core Challenges in Embodied Vision-Language Planning / Jonathan Francis, Nariaki Kitamura, Felix Labelle 他
日本語で読む → - 論文VLAAI
LLMをロボットの脳に:自己中心記憶と制御の統合
大規模言語モデルをロボットの脳として用い、知覚・計画・制御・記憶を自然言語の対話で統合するフレームワークLLM-Brainを提案し、探索と質問応答タスクで実証した。
原題: LLM as A Robotic Brain: Unifying Egocentric Memory and Control / Jinjie Mai, Jun Chen, Bing Li 他
日本語で読む → - 論文VLAロボティクス
効率的なロボット学習のための空間言語アテンションポリシー
3次元トークンを入力とし、言語条件付きのマルチタスク行動予測ポリシーを学習するSLAPを提案。モバイルマニピュレーションで高い成功率とロバスト性を示す。
原題: Spatial-Language Attention Policies for Efficient Robot Learning / Priyam Parashar, Vidhi Jain, Xiaohan Zhang 他
日本語で読む → - 論文VLAロボティクス
課題に注目:自動車分野におけるCLIPを用いたユーザーフレンドリーなデータ検索アプローチの分析
自動運転開発で扱う大規模画像データセットを、CLIPによるテキスト・画像埋め込みで類似画像検索やテキスト記述検索を可能にし、自動化と汎用性を検証した。
原題: Focus on the Challenges: Analysis of a User-friendly Data Search Approach with CLIP in the Automotive Domain / Philipp Rigoll, Patrick Petersen, Hanno Stage 他
日本語で読む → - 論文VLAロボティクス
ARヘッドセットによるマルチモーダル・グラウンディングと自然言語駆動のタスク計画
ARヘッドセットを介して人間とEAIエージェントが情報交換し、自然言語で指示された産業点検タスクを協働で計画・実行する枠組みを実証した。
原題: Multimodal Grounding for Embodied AI via Augmented Reality Headsets for Natural Language Driven Task Planning / Selma Wanna, Fabian Parra, Robert Valner 他
日本語で読む → - 論文VLAロボティクス
対話による曖昧性解消で自由飛行ロボットの合成不能な制御器を修正する
自然言語と対話を通じて線形時相論理の仕様を構築し、合成に失敗した制御器の曖昧性や矛盾を解消するアーキテクチャを提案した論文。
原題: Resolving Ambiguity via Dialogue to Correct Unsynthesizable Controllers for Free-Flying Robots / Joshua Rosser, Jacob Arkin, Siddharth Patki 他
日本語で読む → - 論文VLAロボティクス
自然言語によるロボットプログラミング:自律的な把持と統合されたNLP
音声コマンドを文法ベースの自然言語処理で解釈し、Franka Pandaアームでピックアンドプレースを実行する枠組みを提案・検証した。
原題: Natural Language Robot Programming: NLP integrated with autonomous robotic grasping / Muhammad Arshad Khan, Max Kenney, Jack Painter 他
日本語で読む → - 論文VLAロボティクス
USA-Net: ロボット記憶のための統合意味・アフォーダンス表現
シーンの意味と空間的アフォーダンスを微分可能な地図に統合し、オープン語彙の指示に基づく勾配ベースのプランナを実現した。
原題: USA-Net: Unified Semantic and Affordance Representations for Robot Memory / Benjamin Bolte, Austin Wang, Jimmy Yang 他
日本語で読む → - 論文VLAロボティクス
ロボット学習のための言語・行動・状態の対照的事前学習
言語・行動・状態を共有埋め込み空間で結びつけるCLASPを提案し、ゼロショット検索やキャプション生成、言語条件付き強化学習の事前学習で有効性を示した。
原題: Contrastive Language, Action, and State Pre-training for Robot Learning / Krishan Rana, Andrew Melnik, Niko Sünderhauf
日本語で読む → - 論文VLA機械学習
Decision Transformerの統合:重み平均によるマルチタスク方策の形成
異なるMuJoCo移動タスクで個別に訓練したDecision Transformerをパラメータ空間で平均統合し、集中訓練なしでマルチタスク方策を構築する手法を検討した。
原題: Merging Decision Transformers: Weight Averaging for Forming Multi-Task Policies / Daniel Lawson, Ahmed H. Qureshi
日本語で読む → - 論文VLA機械学習
コネクテッド・自動運転車両のための連合学習に関するサーベイ
コネクテッド・自動運転車両(CAV)に連合学習を適用する研究の進展をレビューし、データモダリティやアルゴリズム、応用事例、課題と今後の展望を整理したサーベイ論文。
原題: A Survey of Federated Learning for Connected and Automated Vehicles / Vishnu Pandi Chellapandi, Liangqi Yuan, Stanislaw H /. Zak 他
日本語で読む → - 論文VLAロボティクス
遺伝的アルゴリズムで最適化したVQAによるロボット状態認識
事前学習済み視覚言語モデルに視覚質問応答を適用し、遺伝的アルゴリズムで質問の組み合わせを探索することで、透明ドアや水の状態など従来困難だったロボットの状態認識を実現した。
原題: VQA-based Robotic State Recognition Optimized with Genetic Algorithm / Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
原題: Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents / Wenlong Huang, Fei Xia, Dhruv Shah 他
日本語で読む → - 論文VLA機械学習
PaLM-E: 身体性を持つマルチモーダル言語モデル
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
原題: PaLM-E: An Embodied Multimodal Language Model / Danny Driess, Fei Xia, Mehdi S. M. Sajjadi 他
日本語で読む → - 論文VLA画像認識
LANA: 指示追従と経路説明を両立する言語能力を持つナビゲーションエージェント
視覚言語ナビゲーションにおいて、指示に従うだけでなく経路を言語で説明できる単一モデルLANAを提案し、従来手法より高精度かつ低複雑度で両タスクを実現した。
原題: Lana: A Language-Capable Navigator for Instruction Following and Generation / Xiaohan Wang, Wenguan Wang, Jiayi Shao 他
日本語で読む → - 論文VLA自然言語
少ない人間データで自然言語を線形時相論理へ翻訳するロボットタスク仕様学習
LLMで合成した自然言語コマンドデータを用いて翻訳器を微調整し、制約付きデコーディングで構文的に正しいLTL仕様を生成することで、わずかな人間注釈でも高精度に自然言語からLTLへの変換を実現した。
原題: Data-Efficient Learning of Natural Language to Linear Temporal Logic Translators for Robot Task Specification / Jiayi Pan, Glen Chou, Dmitry Berenson
日本語で読む → - 論文VLAロボティクス
環境と対話する:大規模言語モデルを用いた対話型マルチモーダル知覚
LLMを基盤とし、ロボットが視覚・音・触覚・固有感覚などのマルチモーダル情報を能動的に収集しながら対話的にタスクを遂行するフレームワークMatchaを提案した。
原題: Chat with the Environment: Interactive Multimodal Perception Using Large Language Models / Xufeng Zhao, Mengdi Li, Cornelius Weber 他
日本語で読む → - 論文VLA画像認識
Meta-Explore: シーン物体スペクトルに基づく探索的階層型視覚言語ナビゲーション
視覚言語ナビゲーションにおいて、誤った行動から回復するために、未訪問だが観測可能な状態から有望な局所目標を選ぶ活用ポリシーと、物体配置を周波数領域で表現するシーン物体スペクトル(SOS)を組み合わせた階層型手法を提案。
原題: Meta-Explore: Exploratory Hierarchical Vision-and-Language Navigation Using Scene Object Spectrum Grounding / Minyoung Hwang, Jaeyeon Jeong, Minsoo Kim 他
日本語で読む → - 論文VLAロボティクス
人間と協働するロボットのためのマルチモーダル強化学習
人間と協働するロボットの対話・行動方針を、言語と身体動作を含むマルチモーダル強化学習で学習する手法を提案し、実ユーザとの実験で有効性を確認した。
原題: Multimodal Reinforcement Learning for Robots Collaborating with Humans / Afagh Mehri Shervedani, Siyu Li, Natawut Monaikul 他
日本語で読む → - 論文VLAロボティクス
事前学習済み視覚言語モデルのロボット認識行動への応用
事前学習済み視覚言語モデルを再学習せずにロボットが理解できる情報に変換し、状態・物体・アフォーダンス・関係・異常の認識に活用する5手法を整理・検証した。
原題: Robotic Applications of Pre-Trained Vision-Language Models to Various Recognition Behaviors / Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
拡散ポリシー:行動拡散による視覚運動ポリシー学習
ロボットの視覚運動ポリシーを条件付きノイズ除去拡散過程として表現し、12タスクで平均46.9%の性能向上を達成した。
原題: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion / Cheng Chi, Zhenjia Xu, Siyuan Feng 他
日本語で読む → - 論文VLA画像認識
視覚ナビゲーションのためのレンダリング可能なニューラル放射輝度マップ
3D環境の視覚情報を潜在コードとして格子状に保持し、任意視点の画像をレンダリングできるRNR-Mapを提案し、自己位置推定と画像ゴールナビゲーションに応用した。
原題: Renderable Neural Radiance Map for Visual Navigation / Obin Kwon, Jeongho Park, Songhwai Oh
日本語で読む → - 論文VLAロボティクス
ナノUAV搭載の高精度視覚姿勢推定に向けた深層ニューラルネットワークアーキテクチャ探索
NASを用いて小型UAV向けの視覚姿勢推定CNNを自動設計し、27gのCrazyflie上でリアルタイム動作を実現して制御誤差を32%削減した。
原題: Deep Neural Network Architecture Search for Accurate Visual Pose Estimation aboard Nano-UAVs / Elia Cereda, Luca Crupi, Matteo Risso 他
日本語で読む → - 論文VLA画像認識
身体性知能のための人工視覚皮質の探求:現状と展望
身体性AI向けの視覚基盤モデルを17タスクで体系的に評価し、大規模データで学習したVC-1が平均的に優れるが万能ではないことを示し、適応で更なる性能向上を実現した。
原題: Where are we in the search for an Artificial Visual Cortex for Embodied Intelligence? / Arjun Majumdar, Karmesh Yadav, Sergio Arnaud 他
日本語で読む → - 論文VLA機械学習
プロトタイプを用いたクロスドメインランダム事前学習による強化学習
データ収集とエンコーダ事前学習を分離し、プロトタイプ自己教師あり学習でドメイン横断的な視覚エンコーダを事前学習する強化学習フレームワークを提案。
原題: Cross-domain Random Pre-training with Prototypes for Reinforcement Learning / Xin Liu, Yaran Chen, Haoran Li 他
日本語で読む → - 論文VLAロボティクス
共有情報に基づくコネクテッド自動運転車の安全で効率的な行動計画
V2V通信で周辺車両の認識情報を共有し、安全制約付きマルチエージェント強化学習により交通効率と安全性を両立する行動計画手法を提案した。
原題: Shared Information-Based Safe And Efficient Behavior Planning For Connected Autonomous Vehicles / Songyang Han, Shanglin Zhou, Lynn Pepin 他
日本語で読む → - 論文VLAロボティクス
未知環境における時相タスクのための複雑な自然言語コマンドの接地
大規模言語モデルを活用し、事前の言語データがない環境でも時相ナビゲーションコマンドを線形時相論理仕様に接地するモジュール式システムLang2LTLを提案し、21の都市規模環境と実機ロボットで評価した。
原題: Grounding Complex Natural Language Commands for Temporal Tasks in Unseen Environments / Jason Xinyu Liu, Ziyi Yang, Ifrah Idrees 他
日本語で読む → - 論文VLA自然言語
大規模言語モデルによる自然言語から計画目標への変換
LLMが自然言語の目標を構造化された計画言語に翻訳できるかを検証し、翻訳は得意だが数値・空間推論やプロンプト感度に課題があることを示した。
原題: Translating Natural Language to Planning Goals with Large-Language Models / Yaqi Xie, Chen Yu, Tongyao Zhu 他
日本語で読む → - 論文VLA自然言語
限られた教師ありデータと不一致入力下での双方向行動-言語翻訳の学習
幼児の学習を模倣し、トランスフォーマーを用いたクロスモーダル注意機構により、教師ありデータが少ない状況でも行動と言語の双方向翻訳を高精度で実現するモデルを提案。
原題: Learning Bidirectional Action-Language Translation with Limited Supervision and Incongruent Input / Ozan Özdemir, Matthias Kerzel, Cornelius Weber 他
日本語で読む → - 論文VLA制御
サイバーフィジカル徘徊型弾薬システムにおける状況認識型深層強化学習による自律非線形機動制御
Unityで構築した仮想戦場環境で、状況認識情報を用いた深層強化学習によりドローンの非線形な自律飛行制御を実現し、障害物回避性能を向上させた。
原題: Situation-Aware Deep Reinforcement Learning for Autonomous Nonlinear Mobility Control in Cyber-Physical Loitering Munition Systems / Hyunsoo Lee, Soohyun Park, Won Joon Yun 他
日本語で読む →
PR・アフィリエイト広告
