論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA画像認識
イベントカメラを用いた視覚的場所認識に必要なイベント数は?疎だが変動するピクセルによるアプローチ
イベントカメラの少数のピクセルから得られるイベント数の差を利用して、計算コストを抑えつつ場所認識を行う手法を提案し、屋外・屋内データセットで有効性を示した。
原題: How Many Events do You Need? Event-based Visual Place Recognition Using Sparse But Varying Pixels / Tobias Fischer, Michael Milford
日本語で読む → - 論文VLA画像認識
RxR-Habitat視覚言語ナビゲーションコンペティション優勝手法
連続環境での視覚言語ナビゲーション(VLN-CE)に対し、候補地点予測・履歴強化プランナー・試行制御器を組み合わせた階層的なplan-and-control手法を提案し、CVPR 2022のRxR-Habitatコンペで優勝した。
原題: 1st Place Solutions for RxR-Habitat Vision-and-Language Navigation Competition (CVPR 2022) / Dong An, Zun Wang, Yangguang Li 他
日本語で読む → - 論文VLAロボティクス
LTL-Transfer: 時相タスク仕様のためのスキル転移
線形時相論理(LTL)で記述された新規タスクに対し、訓練中に獲得したタスク非依存スキルを組み合わせてゼロショットで安全に遂行する転移アルゴリズムを提案し、四足移動マニピュレータでの実機検証も行った。
原題: LTL-Transfer: Skill Transfer for Temporal Task Specification / Jason Xinyu Liu, Ankit Shah, Eric Rosen 他
日本語で読む → - 論文VLAロボティクス
連合深層学習と自動運転知覚の融合:設計と検証
車両と路側センサーが収集したデータを集約せずに連合学習で知覚モデルを訓練するFLCAVのネットワーク管理とセンサー配置手法を提案し、CarlaFLCAVプラットフォームで有効性を検証した論文。
原題: Federated Deep Learning Meets Autonomous Vehicle Perception: Design and Verification / Shuai Wang, Chengyang Li, Derrick Wing Kwan Ng 他
日本語で読む → - 論文VLAロボティクス
VLMbench:視覚と言語による操作のための構成的ベンチマーク
言語指示に従ってロボットが物体を操作するタスクのベンチマークVLMbenchと自動デモ生成システムAMSolverを構築し、6D-CLIPortモデルを提案した。
原題: VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation / Kaizhi Zheng, Xiaotong Chen, Odest Chadwicke Jenkins 他
日本語で読む → - 論文VLAロボティクス
信号交差点における電動コネクテッド車のエコドライビング:パラメータ化強化学習アプローチ
信号交差点での電動コネクテッド車のエネルギー効率を改善するため、モデルベースの追従・車線変更方策と強化学習を統合し、縦横制御を階層的にパラメータ化して学習する枠組みを提案した。
原題: Eco-driving for Electric Connected Vehicles at Signalized Intersections: A Parameterized Reinforcement Learning approach / Xia Jiang, Jian Zhang, Dan Li
日本語で読む → - 論文VLAロボティクス
実時間ロボット動作生成のための深層能動的視覚注意:道具身体同化と適応的道具使用の創発
人間の認知構造に着想を得て、タスク状態に応じて注意対象を能動的に変える深層視覚注意モジュールを備えたロボット動作生成モデルを提案し、道具使用タスクで道具を身体の一部とみなす同化現象と未学習道具への適応を実現した。
原題: Deep Active Visual Attention for Real-time Robot Motion Generation: Emergence of Tool-body Assimilation and Adaptive Tool-use / Hyogo Hiruma, Hiroshi Ito, Hiroki Mori 他
日本語で読む → - 論文VLA機械学習
少数ショット方策汎化のためのプロンプト付きDecision Transformer
Transformerの系列モデリングとプロンプト枠組みを活用し、少数のデモンストレーションから未知タスクに適応するオフライン強化学習手法Prompt-DTを提案した。
原題: Prompting Decision Transformer for Few-Shot Policy Generalization / Mengdi Xu, Yikang Shen, Shun Zhang 他
日本語で読む → - 論文VLAAI
汎用エージェントGato:マルチモーダル・マルチタスク・マルチ身体ポリシー
大規模言語モデルの手法を応用し、テキスト以外も含む単一の汎用エージェントGatoを構築。同じ重みでAtari操作、画像キャプション、対話、実機ロボットアームでの積み木など多様なタスクをこなす。
原題: A Generalist Agent / Scott Reed, Konrad Zolna, Emilio Parisotto 他
日本語で読む → - 論文VLA制御
速度計測なしでVTOL-UAVを指数安定に制御するオブザーバベース制御器
GPSやジャイロなしで、視覚情報のみからVTOL-UAVの姿勢・角速度・位置・速度を推定し、ほぼ大域指数安定に追従制御するオブザーバベース制御器を提案した論文。
原題: Exponentially Stable Observer-based Controller for VTOL-UAVs without Velocity Measurements / Hashim A. Hashim
日本語で読む → - 論文VLA自然言語
検証セットによる身体性エージェントの汎化性能評価の限界について
ALFREDベンチマークで視野拡大と行動選択モジュールを追加したTransformerモデルが未見検証セットで最高性能を示したが、未見テストセットでは性能が低下し、検証セットでの性能が汎化の十分な指標にならないことを示した論文。
原題: On the Limits of Evaluating Embodied Agent Model Generalization Using Validation Sets / Hyounghun Kim, Aishwarya Padmakumar, Di Jin 他
日本語で読む → - 論文VLAロボティクス
モーメントベース敵対的学習による身体性言語理解
家庭内タスク指示をサブゴールに分解して実行する視覚言語タスクに対し、指示・サブゴール・状態表現の埋め込み空間に2種類のモーメントを用いた敵対的学習を導入し、ALFREDベンチマークで全指標においてベースラインを上回った。
原題: Moment-based Adversarial Training for Embodied Language Comprehension / Shintaro Ishikawa, Komei Sugiura
日本語で読む → - 論文VLAロボティクス
言語条件付きロボット模倣学習で重要な要素は何か:非構造データからの検討
非構造なオフライン模倣データから言語条件付き方策を学ぶ際の設計選択を体系的に検討し、階層分解やマルチモーダルTransformer、離散潜在プラン、対照損失を組み合わせてCALVINベンチマークで最先端を上回った。
原題: What Matters in Language Conditioned Robotic Imitation Learning over Unstructured Data / Oier Mees, Lukas Hermann, Wolfram Burgard
日本語で読む → - 論文VLA機械学習
Vision Transformerは画像ベース強化学習でCNNに勝てるか?
画像入力の強化学習制御タスクでViTの学習手法を評価し、CNNベースのRADと比較した。補助タスクはViTの性能を向上させるが、総合的にはCNNが優位であることを示した。
原題: Evaluating Vision Transformer Methods for Deep Reinforcement Learning from Pixels / Tianxin Tao, Daniele Reda, Michiel van de Panne
日本語で読む → - 論文VLAロボティクス
基盤モデルはロボットマニピュレーションのゼロショットタスク指定ができるか?
インターネット画像・手描きスケッチ・言語文といった多様な目標指定に対し、大規模事前学習モデル(基盤モデル)がゼロショットでロボット操作タスクを指定できるかをシミュレーションと実世界データで検証した。
原題: Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? / Yuchen Cui, Scott Niekum, Abhinav Gupta 他
日本語で読む → - 論文VLAロボティクス
言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地する
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
原題: Do As I Can, Not As I Say: Grounding Language in Robotic Affordances / Michael Ahn, Anthony Brohan, Noah Brown 他
日本語で読む → - 論文VLAロボティクス
ニューラルCDEによるマルチスケールセンサフュージョンと連続制御
異なる周波数で届く複数センサ入力をNeural Controlled Differential Equationsで統合し、連続時間の潜在状態を発展させて行動を推論する方策学習アーキテクチャInFuserを提案した論文。
原題: Multiscale Sensor Fusion and Continuous Control with Neural CDEs / Sumeet Singh, Francis McCann Ramirez, Jacob Varley 他
日本語で読む → - 論文VLA機械学習
視覚ベース強化学習に関係的帰納バイアスを与えるグラフニューラルネットワーク
ロボットの物理構造をグラフで表現し、画像特徴と内部状態を統合したGNNで強化学習を行い、視覚フィードバックのみで効率的な位置制御方策を学習できることを示した。
原題: Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control / Marco Oliva, Soubarna Banik, Josip Josifovski 他
日本語で読む → - 論文VLA画像認識
視覚言語ナビゲーションにおける離散環境と連続環境の学習ギャップを埋める
連続環境で高レベル行動エージェントを訓練できるよう、候補ウェイポイントを予測する手法を提案し、離散-連続間の性能ギャップを大幅に削減した。
原題: Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation / Yicong Hong, Zun Wang, Qi Wu 他
日本語で読む → - 論文VLA画像認識
モーター制御のためのマスク付き視覚事前学習
実世界画像のマスク付きモデリングで視覚表現を自己教師あり学習し、固定したエンコーダ上で強化学習によりロボットの運動制御を画素から学習する手法を提案。
原題: Masked Visual Pre-training for Motor Control / Tete Xiao, Ilija Radosavovic, Trevor Darrell 他
日本語で読む → - 論文VLA画像認識
視覚と言語によるナビゲーションのためのクロスモーダル地図学習
言語と視覚の対応を明示的な空間表現(地図)上で学習し、観測・未観測領域の上面視意味地図を予測して経路をウェイポイントとして出力するVLN手法を提案した論文。
原題: Cross-modal Map Learning for Vision and Language Navigation / Georgios Georgakis, Karl Schmeckpeper, Karan Wanchoo 他
日本語で読む → - 論文VLA画像認識
制御タスクにおける事前学習済み視覚モデルの意外な有効性
大規模画像データセットで事前学習した視覚表現が、環境固有データなしでも制御ポリシーの学習に有効であることを多様な制御領域で実証した研究。
原題: The Unsurprising Effectiveness of Pre-Trained Vision Models for Control / Simone Parisi, Aravind Rajeswaran, Senthil Purushwalkam 他
日本語で読む → - 論文VLA機械学習
言語モデルをゼロショットプランナーとして活用:身体性エージェントのための実行可能知識の抽出
大規模言語モデルが追加学習なしに高レベルな自然言語タスクを中間計画に分解できることを示し、既存の実演に基づいて計画を実行可能な行動に変換する手法を提案した論文。
原題: Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents / Wenlong Huang, Pieter Abbeel, Deepak Pathak 他
日本語で読む → - 論文VLAcs.NE
言語モデルを用いたペア変分オートエンコーダによるロボットの言語学習
ロボットの動作と言語記述を双方向に結びつけるPVAEモデルを改良し、事前学習済みBERTを組み込むことで、未学習の自然言語指示も理解できるようにした研究。
原題: Language Model-Based Paired Variational Autoencoders for Robotic Language Learning / Ozan Özdemir, Matthias Kerzel, Cornelius Weber 他
日本語で読む → - 論文VLA画像認識
言語指示から走行可能領域を推定するReferring Navigable Regionsタスク
「黄色いセダンの隣に駐車」のような言語指示に対し、対象物ではなく走行すべき道路領域をセグメンテーションする新タスクRNRを提案し、データセットTalk2Car-RegSegとTransformerベース手法を構築した論文。
原題: Grounding Linguistic Commands to Navigable Regions / Nivedita Rufus, Kanishk Jain, Unni Krishnan R Nair 他
日本語で読む → - 論文VLA機械学習
潜在言語によるスキル誘導と計画
少数の言語注釈付きデモから階層的ポリシーを学習し、自然言語コマンドで再利用可能なスキルを組み合わせて新しい目標への計画を生成する手法を提案。ALFRED環境で10%の注釈のみで最先端に匹敵するタスク完了率を達成。
原題: Skill Induction and Planning with Latent Language / Pratyusha Sharma, Antonio Torralba, Jacob Andreas
日本語で読む → - 論文VLA機械学習
ProTo: プログラム誘導型タスクのためのプログラム誘導トランスフォーマー
プログラムの意味的・構造的情報をクロスアテンションとマスク付き自己アテンションで統合し、知覚・推論・意思決定を統一的に学習するトランスフォーマーProToを提案。視覚推論と2D Minecraftのポリシー学習で従来手法を大幅に上回り、未見の複雑なプログラムへの汎化も示した。
原題: ProTo: Program-Guided Transformer for Program-Guided Tasks / Zelin Zhao, Karan Samel, Binghong Chen 他
日本語で読む → - 論文VLAロボティクス
音声指示で動くロボットのための視聴覚表現学習
画像と音声コマンドを結びつける視聴覚表現を学習し、その表現から生成した報酬で強化学習を行うことで、ラベルを大幅に削減しつつ音声指示で動作するロボットを実現した研究。
原題: Learning Visual-Audio Representations for Voice-Controlled Robots / Peixin Chang, Shuijing Liu, D. Livingston McPherson 他
日本語で読む → - 論文VLAロボティクス
PlaTe: 手順タスクにおけるTransformerを用いた視覚に基づく計画
指示動画から人間の意思決定過程を学習し、目標指向の手順を計画するPlanning Transformerを提案。実世界動画と対話環境で従来より高い目標到達性能を示し、UR-5での応用可能性も検証した。
原題: PlaTe: Visually-Grounded Planning with Transformers in Procedural Tasks / Jiankai Sun, De-An Huang, Bo Lu 他
日本語で読む → - 論文VLAロボティクス
CLIPort: ロボット操作のための「何を」と「どこで」の二経路
CLIPの意味理解とTransporterの空間精度を組み合わせた二ストリーム模倣学習エージェントを提案し、言語指示による卓上操作を物体姿勢などの明示的表現なしで実現した。
原題: CLIPort: What and Where Pathways for Robotic Manipulation / Mohit Shridhar, Lucas Manuelli, Dieter Fox
日本語で読む →
PR・アフィリエイト広告
