論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/1/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
探索とシーン記述を同時に行う身体性エージェント
未知の屋内環境を探索しながら、見つけたシーンを自然言語で説明する身体性エージェントの手法を提案し、シミュレーションと実環境で有効性を示した。
原題: Embodied Agents for Efficient Exploration and Smart Scene Description / Roberto Bigazzi, Marcella Cornia, Silvia Cascianelli 他
日本語で読む → - 論文VLA画像認識
連続環境における視覚言語ナビゲーションのためのグラフベース環境表現
物体検出で環境を意味グラフとして表現し、GCNとクロスモーダル注意で言語指示に基づく連続環境ナビゲーションを改善した研究。
原題: Graph based Environment Representation for Vision-and-Language Navigation in Continuous Environments / Ting Wang, Zongkai Wu, Feiyu Yao 他
日本語で読む → - 論文VLA機械学習
SNeRL: 強化学習のための意味論認識型ニューラル放射輝度場
多視点画像から意味論と物体中心の3D暗黙表現をNeRFと畳み込みエンコーダで同時学習し、強化学習の性能を向上させる手法を提案。
原題: SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning / Dongseok Shim, Seungjae Lee, H. Jin Kim
日本語で読む → - 論文VLAロボティクス
音声指示ロボットのためのデータ効率の良い視聴覚表現と直感的ファインチューニング
画像と音声コマンドを対比学習で結びつけ、内在的報酬を生成する表現を提案。展開先で非専門家が少ないラベルで直感的に更新でき、ナビゲーションやマニピュレーションで継続的自己改善を実現した。
原題: A Data-Efficient Visual-Audio Representation with Intuitive Fine-tuning for Voice-Controlled Robots / Peixin Chang, Shuijing Liu, Tianchen Ji 他
日本語で読む → - 論文VLAAI
LLM-Planner:大規模言語モデルによる身体性エージェントの少数ショット計画
大規模言語モデルを身体性エージェントのプランナーとして活用し、環境に接地した計画を少数の例から生成・更新する手法を提案。ALFREDで全訓練データの0.5%未満で競争力のある性能を達成。
原題: LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models / Chan Hee Song, Jiaman Wu, Clayton Washington 他
日本語で読む → - 論文VLA画像認識
BEVBert:言語誘導ナビゲーションのためのマルチモーダル地図事前学習
視覚と言語によるナビゲーション(VLN)向けに、局所的な距離地図と大域的なトポロジカル地図を組み合わせたハイブリッド地図表現を事前学習する手法を提案し、4つのベンチマークで最高性能を達成した。
原題: BEVBert: Multimodal Map Pre-training for Language-guided Navigation / Dong An, Yuankai Qi, Yangguang Li 他
日本語で読む → - 論文VLAロボティクス
学習済み制御方策による移動目標の能動的分類
ドローンが深層学習分類器を用いて複数の移動目標を分類するため、強化学習で次の視点を決定し、MPCで飛行制御する手法を提案した。
原題: Active Classification of Moving Targets with Learned Control Policies / Álvaro Serra-Gómez, Eduardo Montijano, Wendelin Böhmer 他
日本語で読む → - 論文VLAロボティクス
視覚支援慣性航法を直接用いるVTOL-UAV追従のためのオブザーバベース制御器
GPSが使えない環境でも、単眼/ステレオカメラとIMUからなる視覚支援慣性航法の計測値を直接用いて、VTOL-UAVの姿勢・位置・速度を推定しつつ6自由度で目標軌道に追従させるオブザーバベース制御器を提案した論文。
原題: Observer-based Controller for VTOL-UAVs Tracking using Direct Vision-Aided Inertial Navigation Measurements / Hashim A. Hashim, Abdelrahman E. E. Eltoukhy, Akos Odry
日本語で読む → - 論文VLAロボティクス
RT-1: 実世界制御のための大規模ロボティクストランスフォーマー
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
原題: RT-1: Robotics Transformer for Real-World Control at Scale / Anthony Brohan, Noah Brown, Justice Carbajal 他
日本語で読む → - 論文VLA機械学習
基盤モデルのフィードバックによる方策適応
訓練済み方策を新しいタスクや環境に展開する際、ランダムな指示で収集したデモを基盤モデルのフィードバックで再ラベリングし、自動的に微調整データを作る手法PAFFを提案。未知物体・タスク・環境やsim-to-realで大幅に性能を改善した。
原題: Policy Adaptation from Foundation Model Feedback / Yuying Ge, Annabella Macaluso, Li Erran Li 他
日本語で読む → - 論文VLAロボティクス
Prompter: 大規模言語モデルのプロンプト活用によるデータ効率的な身体性指示追従
ロボットの物理制約をモジュール設計に組み込み、ランドマーク物体探索を大規模言語モデルのプロンプトで代替することで、専用訓練データなしに身体性指示追従を実現した。
原題: Prompter: Utilizing Large Language Model Prompting for a Data Efficient Embodied Instruction Following / Yuki Inoue, Hiroki Ohashi
日本語で読む → - 論文VLA機械学習
形態とタスクの統一表現と行動蒸留による汎化システム
観測・行動・目標を形態タスクグラフで統一的に表現し、Transformerで多様な形態のエージェントが多様なタスクを解く単一方策を行動蒸留で学習する手法を提案。
原題: A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation / Hiroki Furuta, Yusuke Iwasawa, Yutaka Matsuo 他
日本語で読む → - 論文VLAAI
CAPE: 大規模言語モデルを用いた前提条件エラーからの是正行動生成
LLMによるロボット計画で、行動の前提条件が満たされないエラーに対し、少数例推論で是正行動を提案し、失敗からの回復を可能にする手法CAPEを提案。
原題: CAPE: Corrective Actions from Precondition Errors using Large Language Models / Shreyas Sundara Raman, Vanya Cohen, Ifrah Idrees 他
日本語で読む → - 論文VLAロボティクス
視覚ベース制御器の閉ループ故障を到達可能性解析で発見
視覚フィードバック制御の安全性違反をハミルトン・ヤコビ到達可能性問題として定式化し、後方到達可能集合を近似計算することで高次元画像入力でも故障を体系的に発見する手法を提案。
原題: Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis / Kaustav Chakraborty, Somil Bansal
日本語で読む → - 論文VLA機械学習
行動修正による誤解を解消する言語条件付き強化学習
ロボットへの指示が誤解された際に、人間が行う段階的な行動修正を強化学習で理解する手法を提案し、合成インストラクターを用いたベンチマーク環境で有効性を示した。
原題: Language-Conditioned Reinforcement Learning to Solve Misunderstandings with Action Corrections / Frank Röder, Manfred Eppe
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる指示拡張を用いたロボットスキル獲得
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
原題: Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models / Ted Xiao, Harris Chan, Pierre Sermanet 他
日本語で読む → - 論文VLA画像認識
CLIP-Nav: CLIPを用いたゼロショット視覚言語ナビゲーション
CLIPを活用し、データセット固有の微調整なしで自然言語指示に従って屋内をナビゲートするゼロショット視覚言語ナビゲーション手法を提案し、REVERIEタスクで教師ありベースラインを上回る性能を示した。
原題: CLIP-Nav: Using CLIP for Zero-Shot Vision-and-Language Navigation / Vishnu Sashank Dorbala, Gunnar Sigurdsson, Robinson Piramuthu 他
日本語で読む → - 論文VLA機械学習
トークン・チューリングマシン
外部メモリとしてトークン集合を持ち、Transformerで読み書きする自己回帰モデルを提案し、動画行動検出やロボット行動方策学習で有効性を示した。
原題: Token Turing Machines / Michael S. Ryoo, Keerthana Gopalakrishnan, Kumara Kahatapitiya 他
日本語で読む → - 論文VLAロボティクス
物体配置のための自然言語指示の微分可能な構文解析と視覚的グラウンディング
自然言語による物体配置指示を、構文解析と粒子ベースのグラフニューラルネットワークで物体ごとにグラウンディングし、曖昧さを考慮しつつエンドツーエンドで学習する手法を提案。
原題: Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement / Zirui Zhao, Wee Sun Lee, David Hsu
日本語で読む → - 論文VLAAI
DANLI: 自然言語指示に従う熟慮型エージェント
言語指示に従う際に神経表現と記号表現を用いて能動的に推論・計画を行う神経記号的熟慮型エージェントを提案し、TEAChベンチマークで反応型ベースラインを70%以上上回る性能と説明可能性を示した。
原題: DANLI: Deliberative Agent for Following Natural Language Instructions / Yichi Zhang, Jianing Yang, Jiayi Pan 他
日本語で読む → - 論文VLA画像認識
マルチモーダルTransformerによる指示追従エージェント
視覚観測と言語指示をマルチモーダルTransformerで符号化し、Transformerベースのポリシーで行動を自己回帰的に予測する、シンプルながら高性能な指示追従ロボットモデルを提案した。
原題: Instruction-Following Agents with Multimodal Transformer / Hao Liu, Lisa Lee, Kimin Lee 他
日本語で読む → - 論文VLA機械学習
合成指示と模倣学習による視覚と言語のナビゲーションのスケーリング
360度パノラマから合成ナビゲーション指示を大量生成し、模倣学習でトランスフォーマーエージェントを訓練することで、視覚と言語のナビゲーション性能を大幅に向上させた。
原題: A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning / Aishwarya Kamath, Peter Anderson, Su Wang 他
日本語で読む → - 論文VLAロボティクス
出力フィードバックチューブMPCによるデータ拡張を用いたロバストで効率的な感覚運動方策学習
出力フィードバックロバストチューブMPCとデータ拡張を組み合わせ、空中ロボットの視覚運動追従方策を1回のデモンストレーションから学習する手法を提案した。
原題: Output Feedback Tube MPC-Guided Data Augmentation for Robust, Efficient Sensorimotor Policy Learning / Andrea Tagliabue, Jonathan P. How
日本語で読む → - 論文VLA画像認識
視覚モデルはすべて平等に作られているのか?開ループから閉ループへの因果ギャップの研究
自動運転などのロボティクス応用で生じる「開ループ学習→閉ループ運用」の因果ギャップを様々な視覚モデルで検証し、適切な学習指針下では分布内ではギャップが解消されるが、分布シフト下ではモデル構造に関わらず性能が崩れることを示した研究。
原題: Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap / Mathias Lechner, Ramin Hasani, Alexander Amini 他
日本語で読む → - 論文VLA機械学習
自己教師あり3D表現による視覚強化学習
大規模データで3Dボクセルオートエンコーダを事前学習し、強化学習と共に微調整することで、サンプル効率と実機ゼロショット転移を改善する枠組みを提案した。
原題: Visual Reinforcement Learning with Self-Supervised 3D Representations / Yanjie Ze, Nicklas Hansen, Yinbo Chen 他
日本語で読む → - 論文VLAロボティクス
CLIP-Fields: ロボット記憶のための弱教師あり意味場
CLIPやDeticなどWeb学習済みモデルのみを教師に使い、空間位置から意味埋め込みへの写像を学習する暗黙的シーン表現を提案。これをシーン記憶としてロボットが実環境で意味的ナビゲーションを行えることを示した。
原題: CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory / Nur Muhammad Mahi Shafiullah, Chris Paxton, Lerrel Pinto 他
日本語で読む → - 論文VLAロボティクス
視覚的アフォーダンスによる非構造データからの言語接地
非構造でオフラインの実世界データから、1%の言語注釈のみで言語条件付きロボットスキルを効率的に学習する手法を提案し、CALVINベンチマークで最高性能を達成した。
原題: Grounding Language with Visual Affordances over Unstructured Data / Oier Mees, Jessica Borja-Diaz, Wolfram Burgard
日本語で読む → - 論文VLAロボティクス
視覚ベース自律ドローンレースのための深層感覚運動ポリシー学習
生画像から直接制御指令を推論する深層感覚運動ポリシーを、対照学習と2段階のlearning-by-cheatingで訓練し、状態ベースと同等のレース性能を実現した。
原題: Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing / Jiawei Fu, Yunlong Song, Yan Wu 他
日本語で読む → - 論文VLAロボティクス
対話型言語:ロボットとリアルタイムに対話する
数十万件の言語注釈付き軌道データで行動クローニングを行い、リアルタイムの自然言語指示に応じてロボットを操作するフレームワークを構築し、データセットやベンチマークを公開した。
原題: Interactive Language: Talking to Robots in Real Time / Corey Lynch, Ayzaan Wahid, Jonathan Tompson 他
日本語で読む → - 論文VLAロボティクス
マスク付き視覚事前学習による実世界ロボット学習
多様な動画画像に対するMAEベースの自己教師あり視覚事前学習を行い、凍結した表現を制御モジュールに渡すことで、様々な実世界ロボットタスクでCLIPやImageNet事前学習を上回る性能を示した。
原題: Real-World Robot Learning with Masked Visual Pre-training / Ilija Radosavovic, Tete Xiao, Stephen James 他
日本語で読む →
PR・アフィリエイト広告
