論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA自然言語
身体性強化学習エージェントへの教示:言語使用の情報量と多様性
強化学習エージェントへの言語入力について、フィードバックの情報量と表現の多様性が学習・推論に与える影響を4つのベンチマークで検証し、多様で情報豊富な言語教示が汎化と新タスクへの適応を促進することを示した。
原題: Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use / Jiajun Xi, Yinong He, Jianing Yang 他
日本語で読む → - 論文VLAロボティクス
ROSA: 自然言語でロボットを操作するROSエージェント
大規模言語モデルを活用し、自然言語による指示をROSのコマンドに変換してロボット操作を可能にするAIエージェントROSAを提案。ROS1/ROS2対応で安全性機構も備える。
原題: Enabling Novel Mission Operations and Interactions with ROSA: The Robot Operating System Agent / Rob Royce, Marcel Kaufmann, Jonathan Becktor 他
日本語で読む → - 論文VLA機械学習
PointPatchRL:マスク付き再構成による点群強化学習の改善
点群をパッチ分割してトークン化しTransformerで処理する強化学習手法を提案し、マスク付き再構成による表現学習を組み合わせることで、変形物体を含む複雑な操作タスクで画像ベースの手法を上回る性能を示した。
原題: PointPatchRL -- Masked Reconstruction Improves Reinforcement Learning on Point Clouds / Balázs Gyenes, Nikolai Franke, Philipp Becker 他
日本語で読む → - 論文VLAロボティクス
SPINE: 非構造環境における不完全な自然言語指示ミッションのためのオンライン意味プランニング
大規模言語モデルを用いて、不完全な自然言語ミッション指示からサブタスクを推論し、オンラインで地図生成しながら再帰的ホライズン計画で実行するプランナを提案。2万m²超の屋外環境で既存手法の2倍以上の効率を達成。
原題: SPINE: Online Semantic Planning for Missions with Incomplete Natural Language Specifications in Unstructured Environments / Zachary Ravichandran, Varun Murali, Mariliza Tzes 他
日本語で読む → - 論文VLAロボティクス
二重過程VLA:VLMを活用した効率的なロボットマニピュレーション
二重過程理論に着想を得て、大規模VLMで高レベル推論を低頻度で行い、小型モデルでリアルタイム制御を担う階層的VLAフレームワークを提案し、推論速度とタスク成功率を向上させた。
原題: A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM / ByungOk Han, Jaehong Kim, Jinhyeok Jang
日本語で読む → - 論文VLAロボティクス
シミュレーション環境におけるUAV制御への大規模言語モデル統合:モジュラー対話アプローチ
大規模言語モデルをUAV制御に統合するための枠組みを提案し、自然言語コマンドによる直感的な操作や自律的意思決定の可能性を、ロボティクスシミュレータ上での概念実証を通じて示した。
原題: Integrating Large Language Models for UAV Control in Simulated Environments: A Modular Interaction Approach / Abhishek Phadke, Alihan Hadimlioglu, Tianxing Chu 他
日本語で読む → - 論文VLAロボティクス
EfficientEQA:オープン語彙な身体性質問応答への効率的アプローチ
ロボットが効率的に探索しながら自由形式で質問に答えるためのフレームワークを提案し、意味重視の探索と適応的停止、RAGによる回答生成で精度向上と探索ステップ削減を実現した。
原題: EfficientEQA: An Efficient Approach to Open-Vocabulary Embodied Question Answering / Kai Cheng, Zhengyuan Li, Xingpeng Sun 他
日本語で読む → - 論文VLAロボティクス
AIVIO: AI支援視覚慣性オドメトリによるUAVの閉ループ物体相対ナビゲーション
IMUとRGBカメラのみの最小構成で、合成データのみで学習した深層学習ベースの物体姿勢推定器を搭載し、物体相対の閉ループ飛行を実現したUAVシステムを提案。電力柱点検での実機実験で有効性を検証した。
原題: AIVIO: Closed-loop, Object-relative Navigation of UAVs with AI-aided Visual Inertial Odometry / Thomas Jantos, Martin Scheiber, Christian Brommer 他
日本語で読む → - 論文VLAロボティクス
G²TR: 大規模事前学習モデルを組み合わせたロボット指示追従のための汎用的接地時系列推論
人間の過去の行動を参照する指示に対し、大規模事前学習モデルを組み合わせて、関連する過去の映像区間の特定・対象物体の推論・現在位置の追跡を行う時系列推論手法を提案した。
原題: G$^{2}$TR: Generalized Grounded Temporal Reasoning for Robot Instruction Following by Combining Large Pre-trained Models / Riya Arora, Niveditha Narendranath, Aman Tambi 他
日本語で読む → - 論文VLAロボティクス
基盤モデルによるゼロショットラベリングでロボット方策学習をスケールさせる
視覚言語基盤モデルを組み合わせ、未整理の長期ロボットデータに自然言語指示を自動でゼロショット付与するNILSを提案し、11.5万軌道以上をラベリングした。
原題: Scaling Robot Policy Learning via Zero-Shot Labeling with Foundation Models / Nils Blank, Moritz Reuss, Marcel Rühle 他
日本語で読む → - 論文VLA自然言語
不完全な世界モデルを用いた身体性環境への大規模言語モデルの接地
シミュレータなどの不完全な世界モデルを活用し、LLMエージェントが自動で多様な指示データを生成・自己改善することで、LLMの物理推論やロボティクスタスク性能を大幅に向上させる手法GLIMOを提案。
原題: Grounding Large Language Models In Embodied Environment With Imperfect World Models / Haolan Liu, Jishen Zhao
日本語で読む → - 論文VLAロボティクス
すべてを見つけ出せ:マルチオブジェクト探索のための汎用視覚言語モデル手法
視覚言語モデルを活用し、複数物体を効率的に探索する手法Finderを提案。マルチチャネルスコアマップで複数物体を同時追跡し、実世界・シミュレーションで既存手法を上回る性能を示した。
原題: Find Everything: A General Vision Language Model Approach to Multi-Object Search / Daniel Choi, Angus Fung, Haitong Wang 他
日本語で読む → - 論文VLAAI
安全制約付き計画のための言語モデルの検証と改良の統合手法
言語モデルが生成するロボットプログラムをオートマトン表現に変換して安全仕様を検証し、その結果を活用した微調整で安全なプログラム生成を効率化する手法を提案。
原題: Joint Verification and Refinement of Language Models for Safety-Constrained Planning / Yunhao Yang, Neel P. Bhatt, William Ward 他
日本語で読む → - 論文衣類操作/VLAロボティクス
SKT: 状態認識キーポイント軌道と視覚言語モデルを統合したロボット衣類操作
視覚言語モデル(VLM)を用いて、多様な衣類の状態を単一モデルで認識しキーポイントを予測することで、ロボットによる衣類操作を汎用的に実現する手法を提案した。大規模合成データで学習し、キーポイント検出精度とタスク成功率を向上させた。
原題: SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation / Xin Li, Siyuan Huang, Qiaojun Yu 他
日本語で読む → - 論文VLAロボティクス
階層的表現による生涯ロボット経験のエピソード記憶言語化
ロボットの長期的な経験を木構造のエピソード記憶として表現し、大規模言語モデルをエージェントとして対話的に検索・要約することで、質問応答や経験の言語化を実現した研究。
原題: Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience / Leonard Bärmann, Chad DeChant, Joana Plewnia 他
日本語で読む → - 論文VLAロボティクス
InteLiPlan: 家庭用ロボットの自律性を高める対話型軽量LLMプランナー
LLMを活用した対話型プランニングフレームワークを提案し、家庭用ロボットの自律性と堅牢性を向上させる。実機とシミュレーションで「取ってきて」タスクを95%の成功率で達成した。
原題: InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy / Kim Tien Ly, Kai Lu, Ioannis Havoutis
日本語で読む → - 論文VLAロボティクス
特徴抽出器か意思決定者か:視覚運動ポリシーにおける視覚エンコーダの役割を再考する
視覚運動ポリシーにおいて視覚エンコーダが単なる特徴抽出器ではなく意思決定にも寄与していることを実験的に示し、OOD事前学習モデルの性能低下を明らかにした研究。
原題: Feature Extractor or Decision Maker: Rethinking the Role of Visual Encoders in Visuomotor Policies / Ruiyu Wang, Zheyu Zhuang, Shutong Jin 他
日本語で読む → - 論文VLA画像認識
OccLLaMA: 自動運転のための占有・言語・行動生成ワールドモデル
意味的占有を視覚表現として用い、視覚・言語・行動を自己回帰モデルで統合した自動運転向け生成ワールドモデルを提案し、4D占有予測・運動計画・視覚質問応答で競争力のある性能を示した。
原題: OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving / Julong Wei, Shanshuai Yuan, Pengfei Li 他
日本語で読む → - 論文VLAロボティクス
HiFi-CS: 視覚言語モデルを用いたロボット把持のためのオープン語彙視覚的グラウンディング
画像とテキストの埋め込みを階層的に融合する軽量デコーダで、複雑な指示文から把持対象を高精度に特定し、7自由度アームでの実機実験で90.33%の精度を達成した。
原題: HiFi-CS: Towards Open Vocabulary Visual Grounding For Robotic Grasping Using Vision-Language Models / Vineet Bhat, Prashanth Krishnamurthy, Ramesh Karri 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによるシーン探索
VLMと能動的知覚を組み合わせ、ロボットマニピュレータが最適な視点を選んで遮蔽物越しの物体認識や意味的クエリに答えるフレームワークAP-VLMを提案。
原題: Scene Exploration by Vision-Language Models / Venkatesh Sripada, Samuel Carter, Frank Guerin 他
日本語で読む → - 論文VLAロボティクス
心の理論を用いた人間とロボットの協調における実用的な音声指示追従
雑音や発音の乱れがある音声指示でも、環境の文脈と心の理論に基づく推論でロボットが実用的に従えるニューロシンボリックモデルSIFToMを提案し、シミュレーションと実環境で有効性を示した。
原題: Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind / Lance Ying, Xinyi Li, Shivam Aarya 他
日本語で読む → - 論文VLAロボティクス
StratXplore: 視覚言語ナビゲーションのための戦略的な新規性探索と指示整合型探索
視覚言語ナビゲーションにおいて、過去の行動と視点特徴を記憶し、指示に合致する未探索の最適なフロンティアを選んで経路修正を行う手法を提案した。
原題: StratXplore: Strategic Novelty-seeking and Instruction-aligned Exploration for Vision and Language Navigation / Muraleekrishna Gopinathan, Jumana Abu-Khalaf, David Suter 他
日本語で読む → - 論文VLAロボティクス
FLaRe: 大規模強化学習ファインチューニングによる熟達した適応型ロボットポリシー
事前学習済みロボットポリシーを大規模強化学習でファインチューニングし、未見環境での長期的移動操作タスクの成功率を大幅に向上させ、新しい身体や行動への迅速な適応を実現した。
原題: FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning / Jiaheng Hu, Rose Hendrix, Ali Farhadi 他
日本語で読む → - 論文VLAAI
RAG-Modulo: 経験・批評家・言語モデルを活用した逐次タスクの解決
LLMエージェントに過去の経験を記憶し検索する仕組みと批評家による評価を組み合わせ、逐次タスクの成功率と効率を向上させるフレームワークを提案した。
原題: RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models / Abhinav Jain, Chris Jermaine, Vaibhav Unhelkar
日本語で読む → - 論文VLAロボティクス
RoboKoop: クープマン作用素を用いたロボティクスにおける視覚入力からの効率的な制御条件付き表現
クープマン理論に基づき、視覚入力からタスク条件付きの線形化表現を学習し、線形制御器と強化学習を組み合わせて効率的なロボット制御を実現する手法を提案。
原題: RoboKoop: Efficient Control Conditioned Representations from Visual Input in Robotics using Koopman Operator / Hemant Kumawat, Biswadeep Chakraborty, Saibal Mukhopadhyay
日本語で読む → - 論文VLAロボティクス
P-RAG: 具現化された日常タスクの計画のための漸進的検索拡張生成
大規模言語モデルを用いた日常タスク計画において、正解データなしでタスク固有の知識を反復的に蓄積する漸進的検索拡張生成手法を提案し、類似タスクと類似状況のきめ細かい検索で性能を向上させた。
原題: P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task / Weiye Xu, Min Wang, Wengang Zhou 他
日本語で読む → - 論文VLAロボティクス
LLMの身体的・社会的グラウンディングへのロードマップ
LLMとロボットの融合において、言語の意味理解に必要な身体的・時間的・社会的要素を整理し、グラウンディングへの道筋を示したロードマップ論文。
原題: A Roadmap for Embodied and Social Grounding in LLMs / Sara Incao, Carlo Mazzola, Giulia Belgiovine 他
日本語で読む → - 論文VLAロボティクス
最適化プロンプトを用いた視覚言語モデルによるロボット故障復旧の自動化
視覚言語モデル(VLM)の視覚・テキストプロンプトを最適化し、空間推論能力を高めることで、未知の故障に対する動作レベルとタスクレベルの復旧を自動化する手法を提案した。
原題: Automating Robot Failure Recovery Using Vision-Language Models With Optimized Prompts / Hongyi Chen, Yunchao Yao, Ruixuan Liu 他
日本語で読む → - 論文VLAAI
エッジデバイス上の大規模言語モデルによる効率的な運転行動の記述と推論
路側機にLLMを配備し、5Gで連携して運転シーンを記述・推論するエッジ向けフレームワークを提案。マルチモーダル情報を統合するプロンプト戦略で性能を向上させた。
原題: Efficient Driving Behavior Narration and Reasoning on Edge Device Using Large Language Models / Yizhou Huang, Yihua Cheng, Kezhi Wang
日本語で読む → - 論文VLA自然言語
コボットのノーコードプログラミングに向けて:対話型プログラミングのための大規模コードモデルによるコード合成実験
大規模言語モデルを用いて、自然言語による指示から協働ロボット(コボット)の組立作業プログラムを対話的に生成する手法を検討し、その性能を評価した。
原題: Towards No-Code Programming of Cobots: Experiments with Code Synthesis by Large Code Models for Conversational Programming / Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen
日本語で読む →
PR・アフィリエイト広告
