論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
マルチ視覚慣性システム:解析・キャリブレーション・推定
複数のIMUやジャイロスコープとカメラを融合するマルチ視覚慣性システムの状態推定手法を開発し、センサ間の時空間キャリブレーションと観測性解析を行った。
原題: Multi-Visual-Inertial System: Analysis, Calibration and Estimation / Yulin Yang, Patrick Geneva, Guoquan Huang
日本語で読む → - 論文VLAロボティクス
対話型指示追従のための多段階構成推論
自然言語指示による複合タスクをサブゴールに分解し、3段階の行動方針でナビゲーションと物体操作を効率的に実行するエージェントを提案した。
原題: Multi-Level Compositional Reasoning for Interactive Instruction Following / Suvaansh Bhambri, Byeonghwi Kim, Jonghyun Choi
日本語で読む → - 論文VLAAI
目的駆動型人工知能に関するレビュー
現在のAI技術の限界を整理し、階層的計画やエネルギー・潜在変数モデル、JEPAなどの目的駆動型アプローチが人間と機械の知能の差を埋める可能性を論じたレビュー。
原題: A Review on Objective-Driven Artificial Intelligence / Apoorv Singh
日本語で読む → - 論文VLAロボティクス
基盤モデルによるオープンボキャブラリなタスク計画・実行システム:汎用サービスロボット向け
基盤モデルでタスク計画とオープンボキャブラリ物体検出を行い、状態機械でロボット動作を管理するGPSR向けシステムを構築し、RoboCup@home Japan Open 2022のGPSRで優勝した。
原題: Foundation Model based Open Vocabulary Task Planning and Executive System for General Purpose Service Robots / Yoshiki Obinata, Naoaki Kanazawa, Kento Kawaharazuka 他
日本語で読む → - 論文VLAロボティクス
走行中EV充電のための移動型給電車ディスパッチングに向けた深層強化学習フレームワーク
走行中の電気自動車に無線充電を行う移動型給電車(MED)の配車タイミングと場所を、深層強化学習(PPO)で最適化するフレームワークを提案し、充電パネルの位置ずれも考慮した現実的なシミュレーション環境で有効性を示した。
原題: Deep Reinforcement Learning Based Framework for Mobile Energy Disseminator Dispatching to Charge On-the-Road Electric Vehicles / Jiaming Wang, Jiqian Dong, Sikai Chen 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる不確実性分析と能動的質問を用いた対話型ロボット行動計画
自然言語指示の曖昧さや情報不足をLLMが分析し、人間に質問して不足情報を補いながらロボットの行動計画を立てる対話型手法を提案し、料理タスクで有効性を検証した。
原題: Interactively Robot Action Planning with Uncertainty Analysis and Active Questioning by Large Language Model / Kazuki Hori, Kanata Suzuki, Tetsuya Ogata
日本語で読む → - 論文VLA機械学習
LLMとDecision Transformerによる言語接地型生成的Quality-Diversity
大規模言語モデルで軌道に自然言語記述を付与し、その記述に条件付けられた方策を学習することで、任意の目標行動記述子やテキストプロンプトで軌道を生成・カスタマイズできる手法を提案した。
原題: Integrating LLMs and Decision Transformers for Language Grounded Generative Quality-Diversity / Achkan Salehi, Stephane Doncieux
日本語で読む → - 論文VLAロボティクス
文脈認識型計画と環境認識型記憶による指示追従型身体エージェント
家庭内タスクを遂行する身体エージェントのために、行動の意味的文脈と環境の変化を記憶に組み込むCAPEAMを提案し、未知環境での指示追従ベンチマークで大幅な性能向上を達成した。
原題: Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents / Byeonghwi Kim, Jinyeon Kim, Yuyeong Kim 他
日本語で読む → - 論文VLA自然言語
LLMと古典プランナを組み合わせた動的計画法
LLMと従来のプランナを協調させて身体性タスクを解くニューロシンボリック手法を提案し、AlfworldでReActベースラインより高速かつ効率的に解けることを示した。
原題: Dynamic Planning with a LLM / Gautier Dagan, Frank Keller, Alex Lascarides
日本語で読む → - 論文VLA画像認識
AerialVLN: UAVのための視覚と言語によるナビゲーション
UAVが屋外環境で視覚と言語指示に従ってナビゲーションする新しいタスクAerialVLNを提案し、25の都市規模シーンを再現した3Dシミュレータとベースラインモデルを開発した。
原題: AerialVLN: Vision-and-Language Navigation for UAVs / Shubo Liu, Hongsheng Zhang, Yuankai Qi 他
日本語で読む → - 論文VLAロボティクス
ROSGPT_Vision: 言語モデルのプロンプトだけでロボットを操作
視覚と言語モデルの2つのプロンプトだけでロボットタスクを実行するフレームワークROSGPT_Visionを提案し、運転者監視アプリで有効性を示した。
原題: ROSGPT_Vision: Commanding Robots Using Only Language Models' Prompts / Bilel Benjdira, Anis Koubaa, Anas M. Ali
日本語で読む → - 論文VLAロボティクス
クロスウェイ拡散:自己教師あり学習による拡散ベース視覚運動ポリシーの改善
拡散モデルによるロボット模倣学習において、逆拡散過程の中間表現から画像を再構成する状態デコーダと自己教師あり学習を組み合わせ、視覚表現を強化する手法を提案した。
原題: Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning / Xiang Li, Varun Belagali, Jinghuan Shang 他
日本語で読む → - 論文VLAロボティクス
SGGNet²: 音声指示ナビゲーションのための音声-シーングラフ接地ネットワーク
音声認識の潜在表現をシーングラフ接地モデルに統合し、雑音や話者変動に頑健な音声指示ナビゲーションを実現した。四足歩行ロボットRBQ-3で実証した。
原題: SGGNet$^2$: Speech-Scene Graph Grounding Network for Speech-guided Navigation / Dohyun Kim, Yeseung Kim, Jaehwi Jang 他
日本語で読む → - 論文VLA画像認識
CAT-ViL: 手術映像における視覚的質問位置特定応答のための共注意ゲート付き視覚言語埋め込み
手術映像に対する質問応答で、答えの内容だけでなく位置も特定するVQLAシステムを提案。視覚と言語の特徴を融合する共注意ゲート付き埋め込みとTransformerで高精度を実現した。
原題: CAT-ViL: Co-Attention Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery / Long Bai, Mobarakol Islam, Hongliang Ren
日本語で読む → - 論文VLA画像認識
視覚と言語によるナビゲーションエージェントの行動分析
視覚と言語によるナビゲーション(VLN)エージェントが、停止・旋回・移動などの指示をどの程度正しく実行できるかを、スキル別の介入実験で分析した研究。
原題: Behavioral Analysis of Vision-and-Language Navigation Agents / Zijiao Yang, Arjun Majumdar, Stefan Lee
日本語で読む → - 論文VLA画像認識
手術支援のための継続的視覚質問応答における蒸留の再検討
手術教育支援のための視覚質問局所回答システムにおいて、古いデータにアクセスできない状況でも壊滅的忘却を防ぐため、剛性-可塑性を考慮した蒸留と自己校正異種蒸留を提案し、継続学習フレームワークを構築した。
原題: Revisiting Distillation for Continual Learning on Visual Question Localized-Answering in Robotic Surgery / Long Bai, Mobarakol Islam, Hongliang Ren
日本語で読む → - 論文VLAロボティクス
双方向参照表現理解のためのヘッドテール切替ファネルUNITER:運搬タスクへの応用
自然言語指示で物体を運ぶ家庭用サービスロボット向けに、対象物と目的地を単一モデルで個別に予測する手法を提案し、シミュレータと実機で有効性を示した。
原題: Switching Head-Tail Funnel UNITER for Dual Referring Expression Comprehension with Fetch-and-Carry Tasks / Ryosuke Korekata, Motonari Kambara, Yu Yoshida 他
日本語で読む → - 論文VLAロボティクス
知能と本能を繋ぐ:自律ロボットのための新たな制御パラダイム
LLMエージェントの幻覚問題に対処するため、生物の神経系に着想を得た階層型アーキテクチャを提案し、AIの知能とロボットの本能(安全確保や障害物回避)を融合させて自律ロボットの安全性と汎用性を高める。
原題: Bridging Intelligence and Instinct: A New Control Paradigm for Autonomous Robots / Shimian Zhang, Qiuhong Lu
日本語で読む → - 論文VLAロボティクス
RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
原題: RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control / Anthony Brohan, Noah Brown, Justice Carbajal 他
日本語で読む → - 論文VLAロボティクス
スケールアップと蒸留:言語誘導によるロボットスキル獲得
LLMで計画し多様な操作軌道を大量生成、失敗検知と自動ラベリングを行い、言語条件付きマルチタスク拡散方策へ蒸留する枠組みを提案。
原題: Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition / Huy Ha, Pete Florence, Shuran Song
日本語で読む → - 論文VLA機械学習
MAEA: 身体性AIのためのマルチモーダル帰属分析
ALFREDデータセットで訓練された方策に対し、視覚・言語・過去行動の各モダリティの寄与度を大域的に算出する枠組みMAEAを提案し、失敗事例の分類やバイアス分析に活用できることを示した。
原題: MAEA: Multimodal Attribution for Embodied AI / Vidhi Jain, Jayant Sravan Tamarapalli, Sahiti Yerramilli 他
日本語で読む → - 論文VLAロボティクス
事前学習済みテキスト画像生成モデルで強化学習の視覚的ゴールを生成できるか
テキスト指示から画像編集でゴール画像を作り、ゴール識別器で報酬を与えてロボットを強化学習する手法を提案し、専門家デモなしで学習できることを示した。
原題: Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning? / Jialu Gao, Kaizhe Hu, Guowei Xu 他
日本語で読む → - 論文VLAロボティクス
基盤モデルによる統合エージェントに向けて
言語モデルを強化学習エージェントの中核推論ツールとして組み込み、探索・経験再利用・スキルスケジューリング・観察学習を単一フレームワークで扱えることを示した研究。
原題: Towards A Unified Agent with Foundation Models / Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever 他
日本語で読む → - 論文VLA画像認識
Proto-CLIP: 少数ショット学習のための視覚言語プロトタイプネットワーク
CLIPの画像・テキスト埋め込みを少数ショット例で適応し、両者のプロトタイプを整合させて分類精度を高める少数ショット学習フレームワークを提案。
原題: Proto-CLIP: Vision-Language Prototypical Network for Few-Shot Learning / Jishnu Jaykumar P, Kamalesh Palanisamy, Yu-Wei Chao 他
日本語で読む → - 論文VLAAI
汎用パターン機械としての大規模言語モデル
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
原題: Large Language Models as General Pattern Machines / Suvir Mirchandani, Fei Xia, Pete Florence 他
日本語で読む → - 論文VLAAI
大規模言語モデルを用いた協調型身体性エージェントのモジュール構築
LLMを認知モジュールに組み込み、知覚・記憶・実行を統合した協調型身体性エージェントCoELAを構築し、分散制御下での多エージェント協調タスクを効率的に解決できることを示した。
原題: Building Cooperative Embodied Agents Modularly with Large Language Models / Hongxin Zhang, Weihua Du, Jiaming Shan 他
日本語で読む → - 論文VLAロボティクス
GVCCI: 言語誘導ロボット操作のための視覚的グラウンディングの生涯学習
物体検出から合成指示文を自動生成し、人手アノテーションなしで視覚的グラウンディングモデルを継続的に学習させる生涯学習フレームワークを提案。多様な環境で最大56.7%の精度向上と29.4%の操作性能改善を達成した。
原題: GVCCI: Lifelong Learning of Visual Grounding for Language-Guided Robotic Manipulation / Junghyun Kim, Gi-Cheon Kang, Jaein Kim 他
日本語で読む → - 論文VLAロボティクス
マルチモーダル言語理解のためのプロトタイプ対照転移学習
家庭内ロボットが自然言語指示で対象物を特定できるよう、シミュレーションデータを活用する新しい転移学習手法PCTLを提案し、実世界データセットで既存手法を上回る精度を達成した。
原題: Prototypical Contrastive Transfer Learning for Multimodal Language Understanding / Seitaro Otsuki, Shintaro Ishikawa, Komei Sugiura
日本語で読む → - 論文VLAロボティクス
助けを求めるロボット:大規模言語モデルプランナーの不確実性調整
LLMベースのプランナーが不確実な状況を検知して人間に助けを求める枠組みKnowNoを提案し、複雑な多段階計画タスクで効率と自律性を向上させた。
原題: Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners / Allen Z. Ren, Anushri Dixit, Alexandra Bodrova 他
日本語で読む → - 論文VLAロボティクス
DoReMi: 計画と実行の不一致を検出・回復して言語モデルを接地する
LLMに高レベル計画と実行時の制約生成の二役を担わせ、VLMで制約違反を監視することで、計画と実行のずれを即時検出し回復するフレームワークを提案した。
原題: DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution Misalignment / Yanjiang Guo, Yen-Jen Wang, Lihan Zha 他
日本語で読む →
PR・アフィリエイト広告
