論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
SASRA: 連続環境における視覚言語ナビゲーションのための意味論的時空間推論エージェント
意味マップと言語をクロスモーダルに接地するTransformer-再帰ハイブリッドモデルで、未知環境での連続3D視覚言語ナビゲーションの汎化性能をSPLで22%以上改善した。
原題: SASRA: Semantically-aware Spatio-temporal Reasoning Agent for Vision-and-Language Navigation in Continuous Environments / Muhammad Zubair Irshad, Niluthpol Chowdhury Mithun, Zachary Seymour 他
日本語で読む → - 論文VLAロボティクス
ワンショットハンドアイ方策学習器
エンドエフェクタ搭載カメラの単一画像から、強化学習ベースの逐次物体位置推定を応用してロボットのリーチング方策を学習する手法を提案。
原題: OHPL: One-shot Hand-eye Policy Learner / Changjae Oh, Yik Lung Pang, Andrea Cavallaro
日本語で読む → - 論文VLAロボティクス
INVIGORATE: 対話と把持で混雑環境の物体を特定するロボットシステム
自然言語とRGB画像から混雑環境内の対象物体を推論し、遮蔽関係を検出して質問で曖昧さを解消しながら把持するPOMDP統合システムを構築した。
原題: INVIGORATE: Interactive Visual Grounding and Grasping in Clutter / Hanbo Zhang, Yunfan Lu, Cunjun Yu 他
日本語で読む → - 論文VLA機械学習
身体性視覚言語計画の核心的課題
視覚と言語を統合してロボットが移動・操作を行うEVLPタスクを整理し、手法・評価指標・環境・データセットを比較したサーベイ。今後の課題と実世界展開への道筋を示す。
原題: Core Challenges in Embodied Vision-Language Planning / Jonathan Francis, Nariaki Kitamura, Felix Labelle 他
日本語で読む → - 論文VLAロボティクス
視覚意味グラフでロボットのタスク理解を強化するVSGM
物体間の関係をグラフ化しGraph Neural Networkでタスクに重要な物体特徴を抽出することで、言語指示に基づく家庭内タスクの成功率を6〜10%向上させた研究。
原題: VSGM -- Enhance robot task understanding ability through visual semantic graph / Cheng Yu Tsai, Mu-Chun Su
日本語で読む → - 論文VLA機械学習
学習ベース知覚制御はロバスト制御の限界にどう影響されるか
台車棒の視覚制御課題で、可観測性の制限や知覚ノイズが強化学習とH∞制御の性能・サンプル効率に与える影響を実験的に調べた。
原題: How Are Learned Perception-Based Controllers Impacted by the Limits of Robust Control? / Jingxi Xu, Bruce Lee, Nikolai Matni 他
日本語で読む → - 論文VLA画像認識
イベントカメラの視覚運動ポリシーのための表現学習
非同期イベントストリームから直接コンパクトな表現を学習するイベント変分オートエンコーダを提案し、障害物回避タスクで事前学習表現を用いた強化学習が高速・頑健に学習できることを示した。
原題: Representation Learning for Event-based Visuomotor Policies / Sai Vemprala, Sami Mian, Ashish Kapoor
日本語で読む → - 論文VLAロボティクス
マルチモーダルVAEを用いた能動推論トルク制御
線形結合マルチモーダルVAEで画像と固有感覚を統合し、7自由度ロボットアームの能動推論トルク制御を実現した研究。目標到達の追従精度向上とノイズ・環境変化への頑健性を示した。
原題: Multimodal VAE Active Inference Controller / Cristian Meo, Pablo Lanillos
日本語で読む → - 論文VLAロボティクス
CrossMap Transformer:二重逆翻訳を用いた視覚言語ナビゲーションのためのクロスモーダルマスク付き経路変換器
言語指示と視覚情報を統合して経路を生成するCrossMap Transformerを提案し、指示生成器との二重逆翻訳で相互強化することで視覚言語ナビゲーションの性能を向上させた論文。
原題: CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation / Aly Magassouba, Komei Sugiura, Hisashi Kawai
日本語で読む → - 論文VLA画像認識
屋内長期的複合タスクのためのモジュール式視覚言語ナビゲーション・操作フレームワーク
視覚と言語に基づく家庭内タスクを、ナビゲーションと操作に分けたモジュール式アプローチで解くMoViLanを提案し、ALFREDベンチマークで成功率を大幅に向上させた。
原題: A modular vision language navigation and manipulation framework for long horizon compositional tasks in indoor environment / Homagni Saha, Fateme Fotouhif, Qisai Liu 他
日本語で読む → - 論文VLA機械学習
自然言語による強化学習方策の仕様記述:微分可能決定木を用いた協調的枠組み
人間が自然言語で記述した初期方策を微分可能決定木に変換し、強化学習のウォームスタートに活用する協調的枠組みを提案した論文。
原題: Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees / Pradyumna Tambwekar, Andrew Silva, Nakul Gopalan 他
日本語で読む → - 論文VLAロボティクス
報酬マシンによる視覚ベースロボティクスの計画と制御の分離
深層Q学習エージェントに報酬マシンを組み合わせ、視覚ベースのロボット把持・配置タスクの学習を高速化し、方策品質を改善した研究。
原題: Disentangled Planning and Control in Vision Based Robotics via Reward Machines / Alberto Camacho, Jacob Varley, Deepali Jain 他
日本語で読む → - 論文VLAロボティクス
メタ学習による視覚と言語のナビゲーションの視覚知覚汎化
カメラ設定が異なるロボットでもVLNモデルを少数サンプルで適応できるよう、視覚知覚モジュールにメタ学習を適用した研究。
原題: Visual Perception Generalization for Vision-and-Language Navigation via Meta-Learning / Ting Wang, Zongkai Wu, Donglin Wang
日本語で読む → - 論文VLAAI
知覚と方策を分離した対話型指示追従モデル
家庭内タスクの言語指示を、物体中心の知覚ストリームと行動方策ストリームに分離して解くMOCAを提案し、ALFREDベンチマークで大幅な性能向上と汎化改善を示した。
原題: Factorizing Perception and Policy for Interactive Instruction Following / Kunal Pratap Singh, Suvaansh Bhambri, Byeonghwi Kim 他
日本語で読む → - 論文VLAロボティクス
中間視覚表現によるロバスト方策:マニピュレーションとナビゲーションにおける実験的研究
深層強化学習に中間視覚表現を組み込むことで、サンプル効率と汎化性能が向上し、ドメインランダム化より大きなドメインシフトにも対応できることをマニピュレーションとナビゲーションで示した。
原題: Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation / Bryan Chen, Alexander Sax, Gene Lewis 他
日本語で読む → - 論文VLA自然言語
ALFWorld:テキストと身体環境を統合した対話型学習シミュレータ
テキストベースの抽象的な計画学習と視覚環境での具体的な行動実行を橋渡しするシミュレータALFWorldを提案し、抽象知識が視覚接地行動に転移して汎化を向上させることを示した。
原題: ALFWorld: Aligning Text and Embodied Environments for Interactive Learning / Mohit Shridhar, Xingdi Yuan, Marc-Alexandre Côté 他
日本語で読む → - 論文VLA画像認識
補助タスク学習で強化する視覚運動共有モデル:物体識別・位置推定・把持
RetinaNetベースの視覚運動ニューラルモデルを拡張し、ARとシミュレーションの新データセットで3次元空間の物体へのリーチングを実現。補助タスク(物体の分類・位置推定)との同時学習の効果を分析した。
原題: Enhancing a Neurocognitive Shared Visuomotor Model for Object Identification, Localization, and Grasping With Learning From Auxiliary Tasks / Matthias Kerzel, Fares Abawi, Manfred Eppe 他
日本語で読む → - 論文VLA自然言語
合成性ネットワークによる視覚接地言語理解の体系的汎化
gSCANデータセットにおいて、問題領域の合成構造をネットワーク構造に反映させることで、未知の言語コマンドへの汎化を実現した研究。
原題: Compositional Networks Enable Systematic Generalization for Grounded Language Understanding / Yen-Ling Kuo, Boris Katz, Andrei Barbu
日本語で読む → - 論文VLA自然言語
類推推論による視覚接地言語獲得
動画と字幕から未知の動詞・名詞の組み合わせを類推で認識するマルチモーダルトランスフォーマーARTNetを提案した論文。
原題: Analogical Reasoning for Visually Grounded Language Acquisition / Bo Wu, Haoyu Qin, Alireza Zareian 他
日本語で読む → - 論文VLA画像認識
注意分岐エンコーダ・デコーダネットワークによる文生成:ラベリング負担の軽減
家庭用サービスロボットの指示文生成のため、視覚入力から文を生成するマルチモーダル注意分岐を持つエンコーダ・デコーダネットワークを提案し、画像キャプションの標準指標でベースラインを上回った。
原題: Alleviating the Burden of Labeling: Sentence Generation by Attention Branch Encoder-Decoder Network / Tadashi Ogura, Aly Magassouba, Komei Sugiura 他
日本語で読む → - 論文VLAロボティクス
生成モデルと強化学習を組み合わせたデータ効率の良い視覚運動方策学習
行動潜在変数を用いて強化学習と生成モデルを組み合わせ、ロボットの視覚運動方策をデータ効率良く学習する枠組みを提案し、潜在表現の品質評価指標も導入した。
原題: Data-efficient visuomotor policy training using reinforcement learning and generative models / Ali Ghadirzadeh, Petra Poklukar, Ville Kyrki 他
日本語で読む → - 論文VLAロボティクス
身体性を活かしたシーン記述
エージェントが環境内を動いて最適な視点を見つけ、シーンを記述する「身体性シーン記述」を提案。模倣学習と強化学習でセンサモータ行動を学習し、AI2Thorと実機ロボットで有効性を示した。
原題: Towards Embodied Scene Description / Sinan Tan, Huaping Liu, Di Guo 他
日本語で読む → - 論文VLAロボティクス
視覚マルチ経験ローカリゼーションを深層ニューラルネットワークにコンパイルするDeepMEL
マルチ経験VT&Rのデータセットを用いて、環境条件を超えて相対姿勢を予測する深層ニューラルネットワークを学習し、冬から春・昼から夜など大きく異なる条件間での直接的な自己位置推定を実現した。
原題: DeepMEL: Compiling Visual Multi-Experience Localization into a Deep Neural Network / Mona Gridseth, Timothy D. Barfoot
日本語で読む → - 論文VLA画像認識
視覚言語モデルとオントロジーによるロボット・人間の操作タスクの文脈理解
動画ストリームから操作意図を理解するため、視覚言語モデルとオントロジーを融合し、注意と知識グラフの進化を生成する手法を提案した。
原題: Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream / Chen Jiang, Masood Dehghan, Martin Jagersand
日本語で読む → - 論文VLAロボティクス
見た目に依存しない埋め込みによる視覚的タスク進捗推定とロボット制御・計画
タスクの進捗を画像から推定するため、見た目の変化に鈍感で進捗に敏感な埋め込みをTime-Contrastive Networksで学習し、長期的タスクを計画・制御できるようにした研究。
原題: Visual Task Progress Estimation with Appearance Invariant Embeddings for Robot Control and Planning / Guilherme Maeda, Joni Väätäinen, Hironori Yoshida
日本語で読む → - 論文VLA画像認識
ALFRED:日常タスクの指示を解釈するためのベンチマーク
自然言語の指示と視点映像から家庭内タスクの行動系列を学習するベンチマークALFREDを提案し、既存モデルでは性能が低いことを示した。
原題: ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks / Mohit Shridhar, Jesse Thomason, Daniel Gordon 他
日本語で読む → - 論文VLA自然言語
言語を越える視覚言語ナビゲーション
英語の指示で訓練したロボットが中国語の指示でもゼロショットでナビゲーションできることを示し、バイリンガルなデータセットBL-R2Rを構築した研究。
原題: Cross-Lingual Vision-Language Navigation / An Yan, Xin Eric Wang, Jiangtao Feng 他
日本語で読む → - 論文VLA画像認識
幻を追う:ベイズ状態追跡としての指示追従
視覚言語ナビゲーション(VLN)において、指示を期待される観測と行動の系列と解釈し、ベイズ状態追跡の枠組みでゴール位置推定を行う微分可能なベイズフィルタを提案した論文。
原題: Chasing Ghosts: Instruction Following as Bayesian State Tracking / Peter Anderson, Ayush Shrivastava, Devi Parikh 他
日本語で読む → - 論文VLAロボティクス
視覚的好奇心:質問を通じて視覚認識を学ぶ
ロボットが未知の物体について人間に質問し、その回答から視覚認識モデルを強化学習で構築するフレームワークを提案した論文。
原題: Visual Curiosity: Learning to Ask Questions to Learn Visual Recognition / Jianwei Yang, Jiasen Lu, Stefan Lee 他
日本語で読む → - 論文VLAロボティクス
GPS障害時のマルチロータUAV緊急帰還のための視覚的ティーチ&リピート
GPS妨害時に、往路で構築した視覚地図へ現在の映像を照合して自己位置推定し、安全な往路をたどって自動帰還するシステムを実現した。
原題: There's No Place Like Home: Visual Teach and Repeat for Emergency Return of Multirotor UAVs During GPS Failure / Michael Warren, Melissa Greeff, Bhavit Patel 他
日本語で読む →
PR・アフィリエイト広告
