論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
モデルフリー学習による緊急車両用回廊確保:近期的展開の観点から
深層強化学習を用いて、接続自動運転車が緊急車両の通行を支援する制御戦略をモデルフリーで学習し、モデルベース手法より設計が容易で性能も高いことを示した。
原題: Model-free Learning of Corridor Clearance: A Near-term Deployment Perspective / Dajiang Suo, Vindula Jayawardana, Cathy Wu
日本語で読む → - 論文自動運転/VLA画像認識
LMDrive: 大規模言語モデルによる閉ループ型エンドツーエンド自動運転
自然言語指示とマルチモーダルセンサ入力を統合し、LLMで閉ループのエンドツーエンド自動運転を実現するフレームワークLMDriveを提案し、約64Kの指示追従データセットとLangAutoベンチマークを公開した。
原題: LMDrive: Closed-Loop End-to-End Driving with Large Language Models / Hao Shao, Yuxuan Hu, Letian Wang 他
日本語で読む → - 論文VLAロボティクス
PlayFusion: 言語注釈付きプレイデータからの拡散モデルによるスキル獲得
言語ラベル付きの非構造的なプレイデータから、拡散モデルを用いて多様なロボットスキルを抽出し、離散ボトルネックでスキル語彙を獲得する手法を提案。
原題: PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play / Lili Chen, Shikhar Bahl, Deepak Pathak
日本語で読む → - 論文VLAロボティクス
四足歩行ロボットのための視覚-言語-行動モデルQUAR-VLA
視覚情報と言語指示を統合して実世界の四足ロボットの行動を生成するVLAモデルQUARTと、ナビゲーション・不整地歩行・全身マニピュレーションを含む大規模データセットQUARDを提案した論文。
原題: QUAR-VLA: Vision-Language-Action Model for Quadruped Robots / Pengxiang Ding, Han Zhao, Wenjie Zhang 他
日本語で読む → - 論文VLAAI
LLMに導かれる大規模部分観測環境での逐次計画
状態空間探索とLLMへの問い合わせを組み合わせ、報酬で探索を駆動するハイブリッドエージェント「neoplanner」を提案した論文。
原題: Sequential Planning in Large Partially Observable Environments guided by LLMs / Swarna Kamal Paul
日本語で読む → - 論文VLAロボティクス
LingoQA: 自動運転のための視覚的質問応答
自動運転向けの視覚的質問応答データセットとベンチマークを構築し、既存の視覚言語モデルが人間に及ばないことを示した。
原題: LingoQA: Visual Question Answering for Autonomous Driving / Ana-Maria Marcu, Long Chen, Jan Hünermann 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルを用いた部分観測ロボティクスタスクの対話型プランニング
部分観測環境でロボットが不足情報を収集しながら状態を推定し、LLMが対話的に行動を計画する手法を提案。GPT-4とファインチューニングしたLlama 2を比較し、シミュレーションと実環境で検証した。
原題: Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks / Lingfeng Sun, Devesh K. Jha, Chiori Hori 他
日本語で読む → - 論文VLAロボティクス
人間とロボットのインタラクションにおける属性ベース物体参照のための合成的ゼロショット学習
言語指示に含まれる属性の組み合わせから未知の物体をゼロショットで同定する手法を実装し、MIT-StatesとClothing 16Kで評価した。
原題: Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction / Peng Gao, Ahmed Jaafar, Brian Reily 他
日本語で読む → - 論文VLAロボティクス
TypeFly: 大規模言語モデルによるドローン飛行制御
LLMでドローンを制御する際の遅延を減らすため、トークン効率の良いMiniSpec言語と実行環境を組み合わせたChatFlyを提案し、応答時間を最大62%短縮した。
原題: TypeFly: Flying Drones with Large Language Model / Guojun Chen, Xiaojing Yu, Neiwen Ling 他
日本語で読む → - 論文VLA画像認識
LEAP: LLMによる一人称視点行動プログラムの生成
大規模言語モデルを用いて、一人称視点の動画から行動プログラム(サブアクション、事前・事後条件、制御フロー)を生成し、行動認識と予測の性能を向上させた。
原題: LEAP: LLM-Generation of Egocentric Action Programs / Eadom Dessalene, Michael Maynord, Cornelia Fermüller 他
日本語で読む → - 論文VLAロボティクス
ドローンの視覚ベース学習:サーベイ
ドローンにおける視覚ベース学習の基本原理から制御手法の分類、単体・群・異種システムへの応用、課題と将来展望までを包括的に整理したサーベイ論文。
原題: Vision-based Learning for Drones: A Survey / Jiaping Xiao, Rangya Zhang, Yuhang Zhang 他
日本語で読む → - 論文VLA画像認識
3D世界における身体性を持つ汎用エージェント
3D世界での知覚・推論・計画・行動を統合的に行うマルチモーダル汎用エージェントLEOを提案し、3D視覚言語アライメントと視覚言語行動指示チューニングの2段階で訓練して多様なタスクでの性能を示した。
原題: An Embodied Generalist Agent in 3D World / Jiangyong Huang, Silong Yong, Xiaojian Ma 他
日本語で読む → - 論文VLA画像認識
DialMAT: 対話可能なTransformerとモーメントベース敵対的学習
対話を通じて指示を確認できる具現化エージェント向けに、言語・画像・行動の潜在空間に敵対的摂動を加える学習法とクロスモーダル特徴抽出を組み合わせたDialMATを提案し、DialFREDタスクで最高性能を達成した。
原題: DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training / Kanta Kaneda, Ryosuke Korekata, Yuiga Wada 他
日本語で読む → - 論文VLAロボティクス
自然言語指示による物体運搬タスクの生成・実行・評価を完全自動化するフレームワーク
連続空間でのFetch-and-Carryタスクを対象に、自然言語指示の生成からロボットの実行、評価までを自動化するフレームワークを提案し、タスクを4つのサブタスクに分割して解く手法を導入した。
原題: Fully Automated Task Management for Generation, Execution, and Evaluation: A Framework for Fetch-and-Carry Tasks with Natural Language Instructions in Continuous Space / Motonari Kambara, Komei Sugiura
日本語で読む → - 論文VLAロボティクス
ロボティクスにおける大規模言語モデル:サーベイ
ロボット制御・知覚・意思決定・計画などにおける大規模言語モデル(LLM)の応用を包括的に調査し、利点や課題を整理したサーベイ論文。
原題: Large Language Models for Robotics: A Survey / Fanlong Zeng, Wensheng Gan, Zezheng Huai 他
日本語で読む → - 論文VLAロボティクス
GPT-4Vを用いたロボティクス:人間の実演からのマルチモーダルタスクプランニング
人間の作業動画をGPT-4Vで解析し、把持位置や姿勢などのアフォーダンス情報を含む実行可能なロボットプログラムをワンショットで生成するパイプラインを提案した。
原題: GPT-4V(ision) for Robotics: Multimodal Task Planning from Human Demonstration / Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi 他
日本語で読む → - 論文VLA機械学習
LLMで拡張された階層型エージェント
LLMの計画能力を高レベル方策のガイドに使い、RLで環境から学習する階層型エージェントを提案。長期的タスクのサンプル効率を改善し、実機のブロック操作でも有効性を示した。
原題: LLM Augmented Hierarchical Agents / Bharat Prakash, Tim Oates, Tinoosh Mohsenin
日本語で読む → - 論文VLAAI
SAGE: 実世界実行を伴うスマートホームエージェント
LLMを用いてユーザーのスマートホーム要求を解釈し、動的に構築したプロンプト木でデバイス操作や情報取得を実行するエージェントSAGEを提案。50の新規タスクで75%の成功率を達成した。
原題: SAGE: Smart home Agent with Grounded Execution / Dmitriy Rivkin, Francois Hogan, Amal Feriani 他
日本語で読む → - 論文VLA画像認識
GPT-4Vがハンドルを握る:歩行者行動予測における可能性と課題
自動運転向けの歩行者行動予測に視覚言語モデルGPT-4Vをゼロショットで適用し、公開データセットで定量・定性評価した初の研究。
原題: GPT-4V Takes the Wheel: Promises and Challenges for Pedestrian Behavior Prediction / Jia Huang, Peng Jiang, Alvika Gautam 他
日本語で読む → - 論文VLAロボティクス
LLMによるサービスモバイルロボットのプログラミング:CodeBotlerとRoboEval
自然言語からサービスモバイルロボットのプログラムを生成するツールCodeBotlerと、その評価ベンチマークRoboEvalを提案し、複数のLLMの性能と失敗傾向を分析した。
原題: Deploying and Evaluating LLMs to Program Service Mobile Robots / Zichao Hu, Francesca Lucchetti, Claire Schlesinger 他
日本語で読む → - 論文VLAロボティクス
REAL: 大規模言語モデルを用いた自律飛行ロボットのレジリエンスと適応
大規模言語モデルをマルチロータのミッション計画と制御ループに組み込み、未知の状況へのレジリエンスと適応性を高める手法を提案し、実機実験で位置追従誤差の低減を示した。
原題: REAL: Resilience and Adaptation using Large Language Models on Autonomous Aerial Robots / Andrea Tagliabue, Kota Kondo, Tong Zhao 他
日本語で読む → - 論文VLAロボティクス
RT-Trajectory: 軌道スケッチによるロボットタスクの汎化
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
原題: RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches / Jiayuan Gu, Sean Kirmani, Paul Wohlhart 他
日本語で読む → - 論文VLAロボティクス
言語訂正からロボット操作のための汎化可能な知識を蒸留・検索する手法
大規模言語モデルを用いて、人間の言語による訂正フィードバックから汎化可能な知識を蒸留し、新しい環境で関連する経験を検索してロボット操作の性能を向上させるシステムDROCを提案した。
原題: Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections / Lihan Zha, Yuchen Cui, Li-Heng Lin 他
日本語で読む → - 論文VLAロボティクス
RoboVQA:ロボティクスのためのマルチモーダル長期推論
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
原題: RoboVQA: Multimodal Long-Horizon Reasoning for Robotics / Pierre Sermanet, Tianli Ding, Jeffrey Zhao 他
日本語で読む → - 論文VLAロボティクス
Tube-NeRF: ロバストMPCとNeRFによる視覚運動方策の効率的模倣学習
ロバストMPCのチューブ情報とNeRFによる画像生成を組み合わせたデータ拡張で、マルチロータの視覚運動方策を効率的に模倣学習し、実機へ転移した。
原題: Tube-NeRF: Efficient Imitation Learning of Visuomotor Policies from MPC using Tube-Guided Data Augmentation and NeRFs / Andrea Tagliabue, Jonathan P. How
日本語で読む → - 論文VLAロボティクス
脳としてのエージェント、小脳としてのコントローラ:ドローン上に実装する身体性を持つLMMベースエージェント
LMMを「脳」、従来の制御器を「小脳」と見立てた階層型エージェントAeroAgentをドローン向けに構築し、ROS連携フレームワークROSchainで実装。探索救助タスクでDRLベース手法を上回る性能を示した。
原題: Agent as Cerebrum, Controller as Cerebellum: Implementing an Embodied LMM-based Agent on Drones / Haoran Zhao, Fengxing Pan, Huqiuyue Ping 他
日本語で読む → - 論文VLAロボティクス
ロボットの常識知識源としての大規模言語モデルの可能性
サービスロボットの常識知識獲得にLLMを活用できるか検証し、文脈的行動知識の抽出は限定的だが、汎用的な行動知識の大規模抽出とオントロジー構築には有効であることを示した。
原題: Exploring Large Language Models as a Source of Common-Sense Knowledge for Robots / Felix Ocker, Jörg Deigmöller, Julian Eggert
日本語で読む → - 論文VLAロボティクス
合成観測によるロボット方策推論の改善
拡散モデルで推論時の観測を事前学習済み方策の分布に合わせて変換し、追加学習なしで未知物体へのゼロショット適応性能を最大57%向上させた。
原題: ROSO: Improving Robotic Policy Inference via Synthetic Observations / Yusuke Miyashita, Dimitris Gahtidis, Colin La 他
日本語で読む → - 論文VLAロボティクス
音声コマンドによるロボットへの階層的タスク指示
音声コマンドでロボットに単発の行動から長期的な行動系列まで階層的に指示できるフレームワークを提案し、人とロボットの協調作業で評価した。
原題: Instructing Hierarchical Tasks to Robots by Verbal Commands / P. Telkes, A. Angleraud, R. Pieters
日本語で読む → - 論文VLA自然言語
LLMを用いたユーザーコマンド推論による人間中心の自動運転システム
車内ユーザーの自然言語コマンドからシステム要件を推論するために大規模言語モデル(LLM)を活用し、few-shot多変量二値分類の精度を検証した。
原題: Human-Centric Autonomous Systems With LLMs for User Command Reasoning / Yi Yang, Qingwen Zhang, Ci Li 他
日本語で読む →
PR・アフィリエイト広告
