論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
損失のあるアフォーダンスによる汎化:広範なオフラインデータを活用した視覚運動タスクの学習
広範なオフラインデータから損失のある表現空間でサブゴールを計画し、オンライン微調整で未知の視覚運動タスクを効率的に学習するフレームワークを提案。
原題: Generalization with Lossy Affordances: Leveraging Broad Offline Data for Learning Visuomotor Tasks / Kuan Fang, Patrick Yin, Ashvin Nair 他
日本語で読む → - 論文VLAeess.AS
視覚的文脈を活用した身体性エージェントの音声認識改善
ロボットの視覚情報をASRのデコーダにバイアスとして組み込み、可視物体を含む発話の認識精度を向上させる手法を提案。WERを59%相対削減。
原題: Can Visual Context Improve Automatic Speech Recognition for an Embodied Agent? / Pradip Pramanick, Chayan Sarkar
日本語で読む → - 論文VLA画像認識
反復型視覚言語ナビゲーション
同じ環境で長期にわたり記憶を保持しながら言語指示に従って移動するエージェントを評価するIVLNパラダイムとIR2Rベンチマークを提案し、地図構築型エージェントが環境の持続性を活用できることを示した。
原題: Iterative Vision-and-Language Navigation / Jacob Krantz, Shurjo Banerjee, Wang Zhu 他
日本語で読む → - 論文VLAロボティクス
Neuro-Planner: ニューロモルフィック強化学習に基づく深度カメラ搭載MAVの3D視覚ナビゲーション
スパイキングニューラルネットワークと深層強化学習を組み合わせ、深度カメラを用いたドローンの3D視覚ナビゲーションを実現する手法を提案した。
原題: Neuro-Planner: A 3D Visual Navigation Method for MAV with Depth Camera based on Neuromorphic Reinforcement Learning / Junjie Jiang, Delei Kong, Kuanxv Hou 他
日本語で読む → - 論文VLAロボティクス
実演と言語指示を併用したロボットタスクの効率的学習
視覚的な実演と言語指示の両方を組み合わせてロボットのマルチタスク方策を条件付けするDeL-TaCoを提案し、新しいタスク指定の効率と未知物体・指示への汎化性能を向上させた。
原題: Using Both Demonstrations and Language Instructions to Efficiently Learn Robotic Tasks / Albert Yu, Raymond J. Mooney
日本語で読む → - 論文VLAロボティクス
VIP: 価値関数の暗黙的事前学習による汎用視覚報酬と表現
人間の動画から自己教師ありで視覚表現を事前学習し、未知のロボット操作タスクに対する密な報酬関数を生成する手法を提案。
原題: VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training / Yecheng Jason Ma, Shagun Sodhani, Dinesh Jayaraman 他
日本語で読む → - 論文VLAロボティクス
実行不可能な線形時相論理仕様に対する最小違反連続制御の学習
与えられたLTL仕様が実行不可能な場合でも、深層強化学習と経路計画を組み合わせて違反を最小限に抑えつつ目標達成を目指すフレームワークを提案した。
原題: Learning Minimally-Violating Continuous Control for Infeasible Linear Temporal Logic Specifications / Mingyu Cai, Makai Mann, Zachary Serlin 他
日本語で読む → - 論文VLAAI
見て、計画し、予測する:言語誘導型認知計画と動画予測
自然言語の指示に基づいて動画を予測し、複雑なタスクを計画する認知計画アルゴリズムを提案した論文。
原題: See, Plan, Predict: Language-guided Cognitive Planning with Video Prediction / Maria Attarian, Advaya Gupta, Ziyi Zhou 他
日本語で読む → - 論文VLAロボティクス
対話環境における操作質問応答のための身体性指示表現
遠隔地へ移動して対象物を操作し質問に答える新タスクREMQAを提案し、AI2-THOR上でデータセットと3D意味再構成・モジュール型ネットワークによる手法を構築した。
原題: Embodied Referring Expression for Manipulation Question Answering in Interactive Environment / Qie Sima, Sinan Tan, Huaping Liu
日本語で読む → - 論文VLAロボティクス
次にシステムは何をすべきか?:システム行動推定のための操作行動キャプショニング
現在状態と目標状態の画像から、その間に行うべき操作行動を言語で記述する新タスクを提案し、シーングラフ予測を補助タスクとして用いることで推定精度を向上させた。
原題: What Should the System Do Next?: Operative Action Captioning for Estimating System Actions / Taiki Nakamura, Seiya Kawano, Akishige Yuguchi 他
日本語で読む → - 論文VLAロボティクス
視覚ベースのクアッドロータナビゲーションのための並列強化学習シミュレーション
AirSim上に並列学習フレームワークを構築し、Ape-Xを分散学習対応に改良することで、視覚ベースのクアッドロータナビゲーションの学習時間を3.9時間から11分に短縮した。
原題: Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation / Jack Saunders, Sajad Saeedi, Wenbin Li
日本語で読む → - 論文VLAロボティクス
PACT: ロボティクス自己回帰事前学習のための知覚-行動因果トランスフォーマ
ロボットデータから自己教師ありで汎用表現を事前学習するトランスフォーマPACTを提案し、移動ロボットのナビゲーション・自己位置推定・地図構築で有効性を示した。
原題: PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training / Rogerio Bonatti, Sai Vemprala, Shuang Ma 他
日本語で読む → - 論文VLAロボティクス
深層強化学習による無人航空機の能動的知覚
古典的な画像処理とシンプルな深層強化学習エージェントを組み合わせ、水上構造物を追跡・認識しながら動的着陸を行うUAVの能動的知覚システムを提案した。
原題: Active Perception Applied To Unmanned Aerial Vehicles Through Deep Reinforcement Learning / Matheus G. Mateus, Ricardo B. Grando, Paulo L. J. Drews-Jr
日本語で読む → - 論文VLAロボティクス
時相論理制御目標に対するニューラルネットワーク制御器の検証済み合成
LTLで記述されたタスクを満たすために、訓練済みNN制御器の時相的な合成が存在するかを検証し、計算する手法を提案した論文。
原題: Verified Compositions of Neural Network Controllers for Temporal Logic Control Objectives / Jun Wang, Samarth Kalluraya, Yiannis Kantaros
日本語で読む → - 論文VLAAI
言語モデルによる身体性タスクのための接地された計画立案
言語モデルが環境内の物体情報を表形式で入力し、ロボットが実行可能な段階的な行動計画を生成する新問題G-PlanETを提案し、評価手法と指標を設計した。
原題: On Grounded Planning for Embodied Tasks with Language Models / Bill Yuchen Lin, Chengsong Huang, Qian Liu 他
日本語で読む → - 論文VLAロボティクス
実世界計画のためのオープン語彙でクエリ可能なシーン表現
視覚言語モデルとLLMを組み合わせ、自然言語で問い合わせ可能なシーン表現を構築し、ロボットが周囲の物体を認識・照会しながら計画を立てられるようにした。
原題: Open-vocabulary Queryable Scene Representations for Real World Planning / Boyuan Chen, Fei Xia, Brian Ichter 他
日本語で読む → - 論文VLAロボティクス
コードをポリシーとして:身体制御のための言語モデルプログラム
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
原題: Code as Policies: Language Model Programs for Embodied Control / Jacky Liang, Wenlong Huang, Fei Xia 他
日本語で読む → - 論文VLAロボティクス
スパース報酬強化学習におけるTransformer活用による解釈可能な時相論理動作計画
Transformerを二重に活用し、LTL指示の理解と文脈変数の符号化を行うことで、スパース報酬下での解釈可能な時相論理動作計画を実現するT2TLフレームワークを提案した。
原題: Exploiting Transformer in Sparse Reward Reinforcement Learning for Interpretable Temporal Logic Motion Planning / Hao Zhang, Hao Wang, Zhen Kan
日本語で読む → - 論文VLAロボティクス
高速・高精度なピクセルからトルクへの制御の学習
不安定な動力学を持つ視覚ベースのフルタ振り子をプラットフォームとして提案し、ピクセルからトルクへの制御を学習する初の事例を示した。
原題: Learning Fast and Precise Pixel-to-Torque Control / Steffen Bleher, Steve Heim, Sebastian Trimpe
日本語で読む → - 論文VLAロボティクス
LATTE: 言語による軌道変換フレームワーク
事前学習済み言語モデルと画像情報を用いて、自由記述の指示からロボットの3D軌道と速度を生成する汎用フレームワークを提案し、マニピュレーション以外の空中・脚式ロボットでも評価した。
原題: LATTE: LAnguage Trajectory TransformEr / Arthur Bucker, Luis Figueredo, Sami Haddadin 他
日本語で読む → - 論文VLAAI
JARVIS: 会話型身体エージェントのための神経記号常識推論フレームワーク
大規模言語モデルと記号推論を組み合わせ、会話に基づく身体エージェントのタスク実行を可能にするフレームワークを提案。TEAChデータセットで最先端性能を達成。
原題: JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents / Kaizhi Zheng, Kaiwen Zhou, Jing Gu 他
日本語で読む → - 論文VLAロボティクス
ロボット動作と言語記述間の柔軟な双方向翻訳学習
卓上物体操作において、動作と言語を双方向に翻訳するPGAEモデルを提案し、未知の自然言語入力や他エージェントの動作模倣にも対応できることを示した。
原題: Learning Flexible Translation between Robot Actions and Language Descriptions / Ozan Özdemir, Matthias Kerzel, Cornelius Weber 他
日本語で読む → - 論文VLAロボティクス
散らかった環境での身体性探索のためのシーングラフ
散らかった環境でロボットが能動的に探索し、視覚と言語の質問に答えるため、模倣学習による操作生成と動的シーングラフに基づくVQAモデルを組み合わせたフレームワークを提案した。
原題: Scene Graph for Embodied Exploration in Cluttered Scenario / Yuhong Deng, Qie Sima, Di Guo 他
日本語で読む → - 論文VLAロボティクス
DoRO: 身体性エージェントのための指示対象物体の曖昧性解消
移動ロボットが指示された物体を複数視点から探索・統合して特定し、曖昧な場合に適切な質問を生成して対象を絞り込むシステムDoROを提案。
原題: DoRO: Disambiguation of referred object for embodied agents / Pradip Pramanick, Chayan Sarkar, Sayan Paul 他
日本語で読む → - 論文VLAロボティクス
内なる独白:言語モデルを用いた計画による身体性推論
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
原題: Inner Monologue: Embodied Reasoning through Planning with Language Models / Wenlong Huang, Fei Xia, Ted Xiao 他
日本語で読む → - 論文VLAロボティクス
日常タスクにおける衝突リスクを説明する関係性未来キャプションモデル
家庭用サービスロボットが行動前に衝突リスクを説明できるよう、将来起こりうる事象をキャプション生成するクロスモーダルモデルRFCMを提案し、関係性自己注意エンコーダで事象間の関係を効果的に抽出して既存手法を上回る性能を示した。
原題: Relational Future Captioning Model for Explaining Likely Collisions in Daily Tasks / Motonari Kambara, Komei Sugiura
日本語で読む → - 論文VLA画像認識
PVO: パノプティック・ビジュアルオドメトリ
視覚オドメトリと動画パノプティックセグメンテーションを統合し、相互に改善しながらカメラ姿勢推定と領域分割を同時に行うフレームワークを提案。
原題: PVO: Panoptic Visual Odometry / Weicai Ye, Xinyue Lan, Shuo Chen 他
日本語で読む → - 論文VLAロボティクス
視覚と状態の融合:自律ロボティクス向け深層ニューラルネットワークの改善
ロボットの状態推定を非自己中心的な3D姿勢推定タスクにも入力として与えることで、深層CNNの回帰性能を最小の計算コストで向上させる手法を提案し、把持やドローンによる人物追従で検証した。
原題: Vision-State Fusion: Improving Deep Neural Networks for Autonomous Robotics / Elia Cereda, Stefano Bonato, Mirko Nava 他
日本語で読む → - 論文VLA画像認識
AFT-VO: 非同期融合トランスフォーマによる多視点視覚オドメトリ推定
複数の非同期カメラから得られる6自由度姿勢推定をトランスフォーマで融合し、悪天候や低照度でも高精度な視覚オドメトリを実現する手法を提案。
原題: AFT-VO: Asynchronous Fusion Transformers for Multi-View Visual Odometry Estimation / Nimet Kaygusuz, Oscar Mendez, Richard Bowden
日本語で読む → - 論文VLA機械学習
NeRFを教師信号に用いた強化学習
Neural Radiance Fieldsを監督信号として画像から潜在状態表現を学習し、ロボット物体操作タスクの強化学習性能を向上させる手法NeRF-RLを提案。
原題: Reinforcement Learning with Neural Radiance Fields / Danny Driess, Ingmar Schubert, Pete Florence 他
日本語で読む →
PR・アフィリエイト広告
