論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
言語指示に従うロボットのための目標表現:半教師あり言語インターフェースによる制御
少量の言語ラベル付きデータと大量の未ラベルデータを活用し、言語指示を開始画像と目標画像の変化に埋め込むことで、実世界の多様なマニピュレーションタスクで指示に従う方策を学習した。
原題: Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control / Vivek Myers, Andre He, Kuan Fang 他
日本語で読む → - 論文VLAロボティクス
LIV: ロボット制御のための言語-画像表現と報酬学習
テキスト注釈付きの行動なし動画から、言語や画像ゴールで指定されたタスクに対する価値関数を暗黙的に学習する統合的な視覚言語表現・報酬学習手法LIVを提案し、ロボット制御の模倣学習や報酬設計で従来手法を上回る性能を示した。
原題: LIV: Language-Image Representations and Rewards for Robotic Control / Yecheng Jason Ma, William Liang, Vaidehi Som 他
日本語で読む → - 論文VLAロボティクス
Statler: 身体性推論のための状態維持型言語モデル
大規模言語モデルに世界状態の推定とその遷移を維持させ、その推定に基づいてロボットの行動を決定するフレームワークStatlerを提案し、複数のロボット計画タスクで既存手法を上回る性能を示した。
原題: Statler: State-Maintaining Language Models for Embodied Reasoning / Takuma Yoneda, Jiading Fang, Peng Li 他
日本語で読む → - 論文VLAロボティクス
CLARA: 対話型ロボットエージェントのためのユーザーコマンドの分類と曖昧性解消
LLMを用いてユーザーコマンドが明確・曖昧・実行不可能のどれかを判定し、曖昧な場合は質問生成で対話的に意図を確認する手法を提案。
原題: CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents / Jeongeun Park, Seungwon Lim, Joonhyung Lee 他
日本語で読む → - 論文VLAロボティクス
VR実演と知識推論によるロボットプログラム自動生成
人間がVR空間で行った作業実演を常識知識と物理シミュレーションで意味解釈し、ロボット制御プログラムを自動生成するシステムを提案した。買い物アシストロボットの力覚を伴う運搬・配置タスクで実証した。
原題: Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations / Benjamin Alt, Franklin Kenghagho Kenfack, Andrei Haidu 他
日本語で読む → - 論文VLAロボティクス
センサモータ事前学習によるロボット学習
カメラ画像・固有感覚・行動の系列をトークン化しマスク予測で自己教師あり事前学習するTransformerモデルRPTを提案し、実世界2万軌道で事前学習がスクラッチ学習を上回りタスク・環境・ロボット間の転移を可能にすることを示した。
原題: Robot Learning with Sensorimotor Pre-training / Ilija Radosavovic, Baifeng Shi, Letian Fu 他
日本語で読む → - 論文VLAロボティクス
マルチモーダルモデルによる介護支援ロボットの言語ベース調整に向けて
介護分野の支援ロボットにおいて、言語・視覚・マルチモーダル入力を用いてタスク実行中にリアルタイムで動作を調整する手法の可能性を検討する初期研究プロジェクト。
原題: Towards Language-Based Modulation of Assistive Robots through Multimodal Models / Philipp Wicke, Lüfti Kerem Şenel, Shengqiang Zhang 他
日本語で読む → - 論文VLAロボティクス
SPRINT: 言語指示の再ラベリングによるスケーラブルな方策事前学習
大規模言語モデルによる指示の再ラベリングとオフライン強化学習によるスキル連鎖で、人手をかけずに多様なスキルを事前学習し、新しい長期的タスクの学習を高速化する手法を提案。
原題: SPRINT: Scalable Policy Pre-Training via Language Instruction Relabeling / Jesse Zhang, Karl Pertsch, Jiahui Zhang 他
日本語で読む → - 論文VLAロボティクス
Actor-Criticモデル予測制御:微分可能最適化と強化学習を融合した俊敏飛行
微分可能なMPCをactor-critic強化学習に組み込み、短期予測最適化と長期学習を両立させた枠組みを提案し、ドローンレースで超人的な飛行性能を実証した。
原題: Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight / Angel Romero, Elie Aljalbout, Yunlong Song 他
日本語で読む → - 論文VLAロボティクス
言語から報酬へ:ロボットスキル合成の新パラダイム
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
原題: Language to Rewards for Robotic Skill Synthesis / Wenhao Yu, Nimrod Gileadi, Chuyuan Fu 他
日本語で読む → - 論文VLAロボティクス
GPTモデルとロボット応用の融合:発話連動ジェスチャー対話システム
GPT-3やChatGPTなどの大規模言語モデルを対話ロボットに組み込み、発話内容の意味に応じて適切なジェスチャーを生成するシステムを開発した。
原題: GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System / Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi 他
日本語で読む → - 論文VLAロボティクス
仮想ロボットの過去行動を要約・質問応答する学習
自己中心視点の動画から仮想ロボットの行動系列を自然言語で要約し、質問に答える単一モデルを訓練した。
原題: Learning to Summarize and Answer Questions about a Virtual Robot's Past Actions / Chad DeChant, Iretiayo Akinola, Daniel Bauer
日本語で読む → - 論文VLAAI
ロボティクス向けChatGPT:設計原則とモデル能力
ChatGPTをロボティクスに応用するためのプロンプト設計と高レベル関数ライブラリを提案し、自然言語指示による多様なタスク実行の有効性を検証した。
原題: ChatGPT for Robotics: Design Principles and Model Abilities / Sai Vemprala, Rogerio Bonatti, Arthur Bucker 他
日本語で読む → - 論文VLAロボティクス
言語ベースのシーン要約による身体性実行可能方策学習
視覚観測から言語でシーンを要約し、その要約を介してロボットの実行可能な行動をテキスト形式で生成する学習パラダイムを提案。人間による要約を必要とせず、模倣学習と強化学習の両方で訓練可能。
原題: Embodied Executable Policy Learning with Language-based Scene Summarization / Jielin Qiu, Mengdi Xu, William Han 他
日本語で読む → - 論文VLAロボティクス
LLM-BRAIn:大規模言語モデルによるロボット行動ツリーの高速自動生成
Alpaca 7Bをファインチューニングし、オペレータのテキスト指示からロボットの行動ツリーをオンボードで生成する手法を提案。生成された行動ツリーは人間作成のものと区別が難しいほど自然で、未学習の指示にも対応できる。
原題: LLM-BRAIn: AI-driven Fast Generation of Robot Behaviour Tree based on Large Language Model / Artem Lykov, Dzmitry Tsetserukou
日本語で読む → - 論文VLAロボティクス
視覚言語ナビゲーションのためのインスタンスレベル意味地図
LLMの語彙知識とコミュニティ検出を組み合わせ、同一物体の異なるインスタンスを区別できる意味地図を構築し、言語指示によるナビゲーション性能を大幅に向上させた。
原題: Instance-Level Semantic Maps for Vision Language Navigation / Laksh Nanwani, Anmol Agarwal, Kanishk Jain 他
日本語で読む → - 論文VLA自然言語
SwiftSage:高速思考と低速思考を備えた生成的エージェントによる複雑な対話型タスクの解決
人間の二重過程理論に着想を得て、小さな言語モデルによる直感的な行動生成とGPT-4による熟考的なサブゴール計画を組み合わせ、複雑な対話型推論タスクの性能を向上させたエージェントフレームワーク。
原題: SwiftSage: A Generative Agent with Fast and Slow Thinking for Complex Interactive Tasks / Bill Yuchen Lin, Yicheng Fu, Karina Yang 他
日本語で読む → - 論文VLAロボティクス
EmbodiedGPT: 身体性チェーン・オブ・ソートによる視覚言語事前学習
Ego4D動画と思考の連鎖で作った大規模計画データセットEgoCOTを用い、7B LLMを接続したマルチモーダル基盤モデルを学習し、高レベル計画と低レベル制御を統合した。
原題: EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought / Yao Mu, Qinglong Zhang, Mengkang Hu 他
日本語で読む → - 論文VLAロボティクス
Instruct2Act:大規模言語モデルでマルチモーダル指示をロボット動作に変換
大規模言語モデルを用いてマルチモーダルな指示からロボット操作の行動系列を生成するフレームワークを提案し、卓上操作タスクでゼロショット性能を検証した。
原題: Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model / Siyuan Huang, Zhengkai Jiang, Hao Dong 他
日本語で読む → - 論文VLA画像認識
手術支援ロボットにおける視覚質問局所回答:ゲート付き視覚言語埋め込みを用いたTransformer
手術動画に対する質問応答で、答えの予測と同時に該当する手術領域を局所化するSurgical-VQLAを提案し、ゲート付き視覚言語埋め込みとLViTで異種モダリティを融合した。
原題: Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery / Long Bai, Mobarakol Islam, Lalithkumar Seenivasan 他
日本語で読む → - 論文VLA画像認識
NavGPT: 大規模言語モデルによる視覚と言語を用いたナビゲーションの明示的推論
GPTモデルを純粋に用いた指示追従ナビゲーションエージェントNavGPTを提案し、視覚と言語のナビゲーションタスクにおいてゼロショットで高レベルの計画や推論が可能であることを示した。
原題: NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models / Gengze Zhou, Yicong Hong, Qi Wu
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる意味的異常検知
大規模言語モデルを活用し、自動運転や物体操作の方策における意味的異常を検知する監視フレームワークを提案した。
原題: Semantic Anomaly Detection with Large Language Models / Amine Elhafsi, Rohan Sinha, Christopher Agia 他
日本語で読む → - 論文VLAロボティクス
AlphaBlock: ロボットマニピュレーションにおける視覚言語推論のための身体性ファインチューニング
LLMを用いて高次指示と観察系列のデータセットAlphaBlockを自動収集し、画像入力からマルチステップ計画を自己回帰生成する閉ループ型マルチモーダル身体性プランニングモデルを提案した。
原題: AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation / Chuhao Jin, Wenhui Tan, Jiange Yang 他
日本語で読む → - 論文VLAロボティクス
Demo2Code: 拡張Chain-of-Thoughtによるデモンストレーション要約からコード合成へ
ロボットのデモンストレーションを再帰的要約で簡潔な仕様に変換し、その仕様から拡張Chain-of-Thoughtでタスクコードを合成するフレームワークを提案。
原題: Demo2Code: From Summarizing Demonstrations to Synthesizing Code via Extended Chain-of-Thought / Huaxiaoyue Wang, Gonzalo Gonzalez-Pumariega, Yash Sharma 他
日本語で読む → - 論文VLAロボティクス
ChatGPTを活用した多様な環境での長段階ロボット制御:ケースアプリケーション
ChatGPTを少数例学習で用いて自然言語指示を実行可能なロボット行動列に変換するプロンプトを提案し、多様な環境での動作と自然言語フィードバックによる調整を実証した。
原題: ChatGPT Empowered Long-Step Robot Control in Various Environments: A Case Application / Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる古典的タスクプランナの接地
古典的プランナが生成した行動を視覚言語モデルで検証し、行動失敗の検出とアフォーダンス確認を行うことで、実環境での計画実行を成功させるフレームワークTPVQAを提案した。
原題: Grounding Classical Task Planners via Vision-Language Models / Xiaohan Zhang, Yan Ding, Saeid Amiri 他
日本語で読む → - 論文VLA機械学習
効率的なオンライン方策適応のためのハイパー決定トランスフォーマー
決定トランスフォーマーにハイパーネットワークで初期化される適応モジュールを追加し、少数のデモンストレーションから未知の物体操作タスクに効率的に適応できるようにした。
原題: Hyper-Decision Transformer for Efficient Online Policy Adaptation / Mengdi Xu, Yuchen Lu, Yikang Shen 他
日本語で読む → - 論文VLA画像認識
モーター制御における事前学習済み視覚モデル:すべての政策学習手法が同等ではない
14の事前学習済み視覚モデルを強化学習・模倣学習・視覚報酬関数付き模倣学習の3手法で評価し、事前学習の有効性が下流の政策学習アルゴリズムに強く依存することを示した。
原題: For Pre-Trained Vision Models in Motor Control, Not All Policy Learning Methods are Created Equal / Yingdong Hu, Renhao Wang, Li Erran Li 他
日本語で読む → - 論文VLA画像認識
ETPNav: 連続環境における視覚言語ナビゲーションのための進化的トポロジカルプランニング
連続環境での視覚言語ナビゲーション(VLN-CE)向けに、オンラインでトポロジカルマップを構築し、高レベル計画と障害物回避制御を組み合わせたフレームワークETPNavを提案。R2R-CEとRxR-CEで大幅な性能向上を達成。
原題: ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments / Dong An, Hanqing Wang, Wenguan Wang 他
日本語で読む → - 論文VLAロボティクス
人間の動画から抽出するロボットのためのアフォーダンス表現
インターネット上の人間の行動動画から視覚的アフォーダンスモデルを学習し、ロボットが複雑なタスクを実行できる汎用的な表現として活用する手法を提案。
原題: Affordances from Human Videos as a Versatile Representation for Robotics / Shikhar Bahl, Russell Mendonca, Lili Chen 他
日本語で読む →
PR・アフィリエイト広告
