論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/4/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA機械学習
大規模言語モデルで強化学習を強化する研究のサーベイ:概念・分類・手法
LLMを活用して強化学習を強化する研究を、情報処理・報酬設計・意思決定・生成という4つの役割で分類し、課題と展望を整理したサーベイ。
原題: Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods / Yuji Cao, Huan Zhao, Yuheng Cheng 他
日本語で読む → - 論文VLAロボティクス
インターネット動画からの汎用ロボット学習に向けて:サーベイ
インターネット上の大規模動画を活用してロボット学習のデータ不足を補う「動画からの学習(LfV)」の研究動向を体系的に整理し、課題と将来展望を論じたサーベイ論文。
原題: Towards Generalist Robot Learning from Internet Video: A Survey / Robert McCarthy, Daniel C. H. Tan, Dominik Schmidt 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルと知能ロボットの統合に関するサーベイ
GPT-3.5以降の大規模言語モデルをロボットのコミュニケーション・知覚・計画・制御に統合する研究を整理し、プロンプト設計の実践的ガイドラインを示したサーベイ。
原題: A Survey on Integration of Large Language Models with Intelligent Robots / Yeseung Kim, Dohyun Kim, Jieun Choi 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる近接センシングのための反射率推定:ロボティクスにおける低次認知への分布意味論の活用
GPT-4やCLIPなどの視覚言語モデルを用いて物体の反射率を推定し、近接センサの距離測定精度を向上させる手法を提案。テキストのみの入力でも画像のみのResNetより高精度であることを示した。
原題: Reflectance Estimation for Proximity Sensing by Vision-Language Models: Utilizing Distributional Semantics for Low-Level Cognition in Robotics / Masashi Osada, Gustavo A. Garcia Ricardez, Yosuke Suzuki 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによるロボットの液体知覚のための物理推論
GPT-4Vを用いて、力覚センサデータを時系列グラフ画像に変換し、その画像から液体の粘度推定や種類認識を行う手法を提案した研究。
原題: Vision-Language Model-based Physical Reasoning for Robot Liquid Perception / Wenqiang Lai, Yuan Gao, Tin Lun Lam
日本語で読む → - 論文VLAロボティクス
多様なシミュレーション世界で指示に従うエージェントのスケーリング
画像と言語指示を入力にキーボード・マウス操作を出力する汎用エージェントを、研究環境から商用ゲームまで多様な3D環境で訓練し、言語指示に従う能力を評価した。
原題: Scaling Instructable Agents Across Many Simulated Worlds / SIMA Team, Maria Abi Raad, Arun Ahuja 他
日本語で読む → - 論文VLA画像認識
視覚基盤モデルとオフラインRLによる身体性視覚追跡の強化
視覚基盤モデルで対象のセグメンテーションマスクを抽出し、オフライン強化学習で方策を訓練することで、実世界ロボットにも転移可能な高精度な視覚追跡を実現した。
原題: Empowering Embodied Visual Tracking with Visual Foundation Models and Offline RL / Fangwei Zhong, Kui Wu, Hai Ci 他
日本語で読む → - 論文VLA画像認識
NavCoT:分離推論の学習によるLLMベース視覚言語ナビゲーションの強化
視覚言語ナビゲーション(VLN)において、LLMにナビゲーションの思考連鎖(世界モデルによる次観測の想像、候補選択、行動決定)を学習させ、ドメインギャップを効率的に埋める手法を提案。
原題: NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning / Bingqian Lin, Yunshuang Nie, Ziming Wei 他
日本語で読む → - 論文VLAロボティクス
生涯LERF:FogROS2を用いた局所的3Dセマンティック在庫モニタリング
移動ロボットが言語と幾何の密な表現を継続的に最適化し、物体の変化を検出して選択的に更新することで、自然言語クエリに応じて3Dヒートマップで在庫位置を提示する手法を提案。
原題: Lifelong LERF: Local 3D Semantic Inventory Monitoring Using FogROS2 / Adam Rashid, Chung Min Kim, Justin Kerr 他
日本語で読む → - 論文VLAロボティクス
指示エラーの検出と位置特定:視覚と言語によるナビゲーションにおける課題
視覚と言語によるナビゲーション(VLN-CE)において、人間が与える指示に含まれる誤りを検出・位置特定するための新しいベンチマークと手法を提案し、既存手法の脆弱性を示した。
原題: Mind the Error! Detection and Localization of Instruction Errors in Vision-and-Language Navigation / Francesco Taioli, Stefano Rosa, Alberto Castellini 他
日本語で読む → - 論文VLAロボティクス
SYNAPSE: 記号的神経支援による選好合成エンジン
視覚的なデモンストレーションからユーザー固有の選好(例:良い停車位置)を少数データで学習するため、視覚解析・大規模言語モデル・プログラム合成を組み合わせた神経記号的手法を提案。
原題: SYNAPSE: SYmbolic Neural-Aided Preference Synthesis Engine / Sadanand Modak, Noah Patton, Isil Dillig 他
日本語で読む → - 論文VLAロボティクス
FlexiFly: 再構成可能なドローンシステムで基盤モデルを物理世界とつなぐ
基盤モデルが画像分割で注目領域を特定し、モジュール式ドローンを再構成して近接センシング・動作を行えるようにするプラットフォームを提案し、スマートホームでのタスク成功率を最大85%向上させた。
原題: FlexiFly: Interfacing the Physical World with Foundation Models Empowered by Reconfigurable Drone Systems / Minghui Zhao, Junxi Xia, Kaiyuan Hou 他
日本語で読む → - 論文VLAロボティクス
RT-H: 言語による行動階層
低レベル動作を「腕を前に動かす」のような言語フレーズで表現し、タスクと行動の間に言語動作を介在させることで、多様なタスク間でデータを共有し、人間の言語介入による修正も可能にする模倣学習手法を提案。
原題: RT-H: Action Hierarchies Using Language / Suneel Belkhale, Tianli Ding, Ted Xiao 他
日本語で読む → - 論文VLAロボティクス
ManipVQA: マルチモーダル大規模言語モデルへのロボットアフォーダンスと物理的知識の注入
ロボット操作に必要な道具検出・アフォーダンス認識・物理概念理解をVQA形式で学習させ、MLLMに操作中心の知識を注入するフレームワークを提案した。
原題: ManipVQA: Injecting Robotic Affordance and Physically Grounded Information into Multi-Modal Large Language Models / Siyuan Huang, Iaroslav Ponomarenko, Zhengkai Jiang 他
日本語で読む → - 論文VLAロボティクス
Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
原題: Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers / Vidhi Jain, Maria Attarian, Nikhil J Joshi 他
日本語で読む → - 論文VLAロボティクス
UFO: 不確実性を考慮したLiDAR-画像融合によるオフロード地形の意味マップ推定
RGB画像とLiDARスキャンを多スケールで融合し、不確実性を考慮した擬似ラベルを用いて、オフロード環境のBEV地形分類マップを高精度に生成する学習手法を提案した。
原題: UFO: Uncertainty-aware LiDAR-image Fusion for Off-road Semantic Terrain Map Estimation / Ohn Kim, Junwon Seo, Seongyong Ahn 他
日本語で読む → - 論文VLAHCI
LLMと複合現実による協働ロボットのウェイポイント生成
自然言語で指示するだけでLLMが作業空間を理解しウェイポイントを生成、ARで結果を可視化する協働ロボット向けフレームワークを提案し、実機でピック&プレースを実証した。
原題: Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality / Cathy Mengying Fang, Krzysztof Zieliński, Pattie Maes 他
日本語で読む → - 論文VLAロボティクス
リーマン多様体上のフローマッチングによるロボット動作学習ポリシー
フローマッチングをリーマン多様体上に拡張し、ロボットの視覚運動ポリシーを効率的に学習・生成する手法RFMPを提案。拡散ポリシーより滑らかな軌道と高速推論を実現。
原題: Riemannian Flow Matching Policy for Robot Motion Learning / Max Braun, Noémie Jaquier, Leonel Rozo 他
日本語で読む → - 論文VLAロボティクス
ViSaRL: 人間の顕著性に導かれた視覚強化学習
人間の視覚的注意(顕著性)を強化学習に組み込み、高次元画像入力からの効率的な視覚表現学習を実現し、サンプル効率・成功率・汎化性能を向上させた。
原題: ViSaRL: Visual Reinforcement Learning Guided by Human Saliency / Anthony Liang, Jesse Thomason, Erdem Bıyık
日本語で読む → - 論文VLAロボティクス
自然言語をポリシーとして:LLMによる座標レベル身体制御のための推論
タスクとシーンのテキスト記述からLLMが自然言語推論で座標レベルの制御コマンドを直接出力し、中間コードなしでロボットタスク計画を行う手法を提案・評価した。
原題: Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs / Yusuke Mikami, Andrew Melnik, Jun Miura 他
日本語で読む → - 論文VLAロボティクス
LBAP: ベイズ推論によるLLMプランナーの不確実性整合の改善
LLMプランナーの幻覚を抑え、ベイズ推論で自信度を成功確率に合わせて校正する手法を提案し、実世界で成功率を維持しつつ人間の介入を33%以上削減した。
原題: LBAP: Improved Uncertainty Alignment of LLM Planners using Bayesian Inference / James F. Mullen, Dinesh Manocha
日本語で読む → - 論文VLAロボティクス
基盤モデルによるロボットサブタスク分解のための時間的・意味的評価指標
LLMとVLMを活用してロボット軌道データを時間区間付きの自然言語サブタスクに自動分解する枠組みを提案し、その品質を評価する時間類似度・意味類似度という新指標を導入した。
原題: Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks / Jonathan Salfity, Selma Wanna, Minkyu Choi 他
日本語で読む → - 論文VLAロボティクス
ARO: 大規模言語モデルによるロボティクスText2Skill自律学習
報酬設計や性能評価を大規模言語モデルに任せ、人間の介入なしにロボットスキルを自律学習させるフレームワークAROを提案した。
原題: ARO: Large Language Model Supervised Robotics Text2Skill Autonomous Learning / Yiwen Chen, Yuyao Ye, Ziyi Chen 他
日本語で読む → - 論文VLAロボティクス
ロボット運動制御のための時空間予測事前学習
大規模動画を用い、マスクされた現在フレームの空間予測と未来フレームを条件とした時間予測を二重デコーダで同時に行うことで、運動情報を捉えるロボット運動制御向け視覚事前学習フレームワークSTPを提案した。
原題: Spatiotemporal Predictive Pre-training for Robotic Motor Control / Jiange Yang, Bei Liu, Jianlong Fu 他
日本語で読む → - 論文VLAAI
意思決定における基盤モデルの幻覚検出:柔軟な定義と最新技術のレビュー
意思決定タスクに基盤モデルを使う際の幻覚(もっともらしいが誤った判断)を検出・定量化する必要性を論じ、既存手法をレビューして今後の研究方向を示した。
原題: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art / Neeloy Chakraborty, Melkior Ornik, Katherine Driggs-Campbell
日本語で読む → - 論文VLAロボティクス
軽量LLMによるロボットタスクのビヘイビアツリー生成
70億パラメータ以下の軽量LLMをファインチューニングし、ロボットのビヘイビアツリーを生成する手法を提案。9種類のタスクで複数モデルを比較し、実機検証まで行った。
原題: BTGenBot: Behavior Tree Generation for Robotic Tasks with Lightweight LLMs / Riccardo Andrea Izzo, Gianluca Bardaro, Matteo Matteucci
日本語で読む → - 論文VLAロボティクス
NARRATE: ロボティクスにおける最適制御のための汎用言語アーキテクチャ
大規模言語モデルに制約や目的関数を数式として生成させ、モデル予測制御と組み合わせることで、自然言語による柔軟かつ安全なロボット制御を実現した研究。
原題: NARRATE: Versatile Language Architecture for Optimal Control in Robotics / Seif Ismail, Antonio Arbues, Ryan Cotterell 他
日本語で読む → - 論文VLAAI
対話型指示に従うエージェントのためのオンライン継続学習
ロボットエージェントが言語指示で新しい行動や環境を継続的に学ぶ2つの設定を提案し、タスク境界なしで信頼度スコアを移動平均で更新するCAMA手法で従来手法を上回った。
原題: Online Continual Learning For Interactive Instruction Following Agents / Byeonghwi Kim, Minhyuk Seo, Jonghyun Choi
日本語で読む → - 論文VLAロボティクス
確信するまで探索せよ:身体性質問応答のための効率的探索
大規模視覚言語モデル(VLM)とConformal Predictionを組み合わせ、ロボットが環境を効率的に探索して質問に答える身体性質問応答(EQA)フレームワークを提案。HM3D上に新データセットも構築した。
原題: Explore until Confident: Efficient Exploration for Embodied Question Answering / Allen Z. Ren, Jaden Clark, Anushri Dixit 他
日本語で読む → - 論文VLAロボティクス
視覚言語グリッドマップは潜在意味を捉えているか?
VLMを用いたロボットマップの品質をクエリ可能性と識別性の観点から分析し、3D特徴と画像埋め込みの特性を比較評価した。
原題: Do Visual-Language Grid Maps Capture Latent Semantics? / Matti Pekkanen, Tsvetomila Mihaylova, Francesco Verdoja 他
日本語で読む →
PR・アフィリエイト広告
