論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/3/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
OceanPlan:大規模未探査海洋環境における自然言語AUV操縦のための階層的計画・再計画
大規模で未知の海洋環境でAUVを自然言語で操縦するため、LLMとタスク・動作計画を組み合わせた階層的計画・再計画フレームワークを提案し、長時間ミッションの実現を検証した。
原題: OceanPlan: Hierarchical Planning and Replanning for Natural Language AUV Piloting in Large-scale Unexplored Ocean Environments / Ruochu Yang, Fumin Zhang, Mengxue Hou
日本語で読む → - 論文VLAロボティクス
不確実性を考慮した言語条件付き模倣学習ポリシーの展開
事前学習済みの言語条件付き模倣学習エージェントに対し、温度スケーリングでキャリブレーションを行い、不確実性を考慮した行動選択を可能にする手法を提案し、タスク完了率を向上させた。
原題: Uncertainty-Aware Deployment of Pre-trained Language-Conditioned Imitation Learning Policies / Bo Wu, Bruce D. Lee, Kostas Daniilidis 他
日本語で読む → - 論文VLAロボティクス
ロボットに怒鳴って教える:言語訂正によるオンザフライ改善
人間がロボットに言語で訂正を与えることで、高レベル方策がリアルタイムに適応し、反復学習を通じて長期的タスクの成功率を向上させるフレームワークを提案。
原題: Yell At Your Robot: Improving On-the-Fly from Language Corrections / Lucy Xiaoyang Shi, Zheyuan Hu, Tony Z. Zhao 他
日本語で読む → - 論文VLAロボティクス
NatSGD: 音声・ジェスチャー・実演を統合した自然なヒューマンロボットインタラクション学習データセット
音声とジェスチャーによる人間の指示とロボットの実演を同期させたマルチモーダルHRIデータセットを構築し、マルチモーダル指示からのタスク理解学習における有効性を示した。
原題: NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction / Snehesh Shrestha, Yantian Zha, Saketh Banagiri 他
日本語で読む → - 論文VLA画像認識
AnySkill: 対話型エージェントのためのオープン語彙物理スキル学習
模倣学習で獲得した原子動作を、CLIP類似度を報酬とする高レベル方策で組み合わせ、未知のテキスト指示に応じた物理的に自然な人間動作を生成する階層的手法を提案。
原題: AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents / Jieming Cui, Tengyu Liu, Nian Liu 他
日本語で読む → - 論文VLAロボティクス
LLMは人間らしい道案内指示を生成できるか?プラットフォーム非依存の身体性指示合成に向けて
LLMを用いて、特定のシミュレーションプラットフォームに依存せず、人間らしい道案内指示を自動生成する手法を提案し、複数環境での有効性と人間生成指示との類似性を示した。
原題: Can LLMs Generate Human-Like Wayfinding Instructions? Towards Platform-Agnostic Embodied Instruction Synthesis / Vishnu Sashank Dorbala, Sanjoy Chowdhury, Dinesh Manocha
日本語で読む → - 論文VLAロボティクス
RoLD: マルチタスク方策モデリングのためのロボット潜在拡散モデル
ロボットの行動軌跡を潜在空間にエンコードし、その空間上で拡散モデルを学習することで、言語指示付きマルチタスク操作の方策を効率的に生成する手法を提案した。
原題: RoLD: Robot Latent Diffusion for Multi-task Policy Modeling / Wenhui Tan, Bei Liu, Junbo Zhang 他
日本語で読む → - 論文VLAロボティクス
マルチスケールCLIP特徴の3Dマップへのオンライン埋め込み
マルチスケールCLIP特徴をリアルタイムで3Dマップに埋め込み、言語クエリによる物体検索とゼロショット物体ゴールナビゲーションを可能にする手法を提案した論文。
原題: Online Embedding Multi-Scale CLIP Features into 3D Maps / Shun Taguchi, Hideki Deguchi
日本語で読む → - 論文VLAロボティクス
模倣学習で強化学習をブートストラップする視覚ベースの俊敏飛行
特権状態で強化学習した教師方策を模倣学習で視覚入力の方策に蒸留し、さらに強化学習で微調整することで、視覚のみでドローンレースを飛行できる制御器を学習した。
原題: Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight / Jiaxu Xing, Angel Romero, Leonard Bauersfeld 他
日本語で読む → - 論文VLAロボティクス
自動化・規制対応ロボティクスシステムへのロードマップ
生成AIによるロボットシステムの自動化において、安全性を確保するためにワークフロー生成後・実行前に規制を介入させるロードマップを提案し、高レベル方針を構造化グラフとして生成するSMSLを導入した。
原題: A Roadmap Towards Automated and Regulated Robotic Systems / Yihao Liu, Mehran Armand
日本語で読む → - 論文VLAロボティクス
拡散ポリシーと基盤モデルによるロボットスキル学習システム
視覚運動拡散ポリシーと大規模マルチモーダル基盤モデルを組み合わせ、自然言語指示によるスキル選択と事前条件チェックを行うロボットスキル学習システムを構築し、実世界の配膳タスクで実証した。
原題: A Robotic Skill Learning System Built Upon Diffusion Policies and Foundation Models / Nils Ingelhag, Jesper Munkeby, Jonne van Haastregt 他
日本語で読む → - 論文VLAロボティクス
GeRM: 四足歩行ロボットのためのMixture-of-Expertsを用いた汎用ロボットモデル
オフライン強化学習とTransformerベースのVLAネットワーク、Mixture-of-Experts構造を組み合わせ、四足歩行ロボットのマルチタスク学習を効率化する汎用モデルGeRMを提案。自動収集データセットQUARD-Autoも公開。
原題: GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot / Wenxuan Song, Han Zhao, Pengxiang Ding 他
日本語で読む → - 論文VLAロボティクス
言語に基づく動的シーングラフを用いたモバイルマニピュレーションによる対話的物体探索
オープン語彙のシーングラフを動的に更新しながらLLMで推論し、モバイルマニピュレーションによる長期的な物体探索をゼロショットで実現する手法を提案。
原題: Language-Grounded Dynamic Scene Graphs for Interactive Object Search with Mobile Manipulation / Daniel Honerkamp, Martin Büchner, Fabien Despinoy 他
日本語で読む → - 論文VLAロボティクス
反事実的摂動による実演からの言語プランの接地
LLMの言語プランをロボットの実演に基づくモード族で接地し、反事実的摂動を加えた実演から成功・失敗を学習して解釈可能な反応的方策を生成する手法を提案。
原題: Grounding Language Plans in Demonstrations Through Counterfactual Perturbations / Yanwei Wang, Tsun-Hsuan Wang, Jiayuan Mao 他
日本語で読む → - 論文VLA画像認識
摂動を考慮した対照学習による逸脱に頑健なエージェントナビゲーション
視覚と言語によるナビゲーション(VLN)エージェントが、障害物や人間の妨害などによる経路逸脱に対して頑健になるよう、経路摂動と対照学習を組み合わせた学習パラダイムPROPERを提案した。
原題: Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning / Bingqian Lin, Yanxin Long, Yi Zhu 他
日本語で読む → - 論文VLA画像認識
3D-VLA:3D視覚・言語・行動の生成的ワールドモデル
3D知覚・推論・行動を生成的ワールドモデルで結びつけた基盤モデルを提案し、拡散モデルによる将来の画像・点群生成を通じて行動計画能力を向上させた。
原題: 3D-VLA: A 3D Vision-Language-Action Generative World Model / Haoyu Zhen, Xiaowen Qiu, Peihao Chen 他
日本語で読む → - 論文VLAロボティクス
自然言語をポリシーとして:LLMによる座標レベル身体制御のための推論
タスクとシーンのテキスト記述からLLMが自然言語推論で座標レベルの制御コマンドを直接出力し、中間コードなしでロボットタスク計画を行う手法を提案・評価した。
原題: Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs / Yusuke Mikami, Andrew Melnik, Jun Miura 他
日本語で読む → - 論文VLAロボティクス
事前学習済み言語・視覚基盤モデルを用いた人間と自律エージェントのマルチモーダル対話
LLM・視覚言語モデル・音声認識モデルを組み合わせ、人間が音声やテキストで自律ロボットと自然に対話し指示できるフレームワークを構築し、音声コマンドの理解精度や実行成功率を評価した。
原題: Multimodal Human-Autonomous Agents Interaction Using Pre-Trained Language and Visual Foundation Models / Linus Nwankwo, Elmar Rueckert
日本語で読む → - 論文VLAロボティクス
言語から地図へ:自然言語経路指示によるトポロジカルマップ生成
自然言語で書かれた経路指示からトポロジカルマップを生成し、LLMを用いて暗黙的・明示的な地図構築手法を比較した。実環境での実験で、明示的な地図生成がより高精度であることを示した。
原題: Language to Map: Topological map generation from natural language path instructions / Hideki Deguchi, Kazuki Shibata, Shun Taguchi
日本語で読む → - 論文VLAAI
言語と行動の対話的学習を通じた構成性と汎化の発達
自由エネルギー原理に基づく脳型ニューラルネットワークで視覚・固有感覚・言語を統合し、ロボットアームのシミュレーションにより未学習の動詞-名詞の組み合わせへの汎化が学習の多様性で向上することを示した。
原題: Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots / Prasanna Vijayaraghavan, Jeffrey Frederic Queisser, Sergio Verduzco Flores 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルにおける少数例コード生成のためのプロンプト選択と拡張、およびロボティクス制御への応用
少数の例からコード生成を行うLLMの性能を向上させるため、例の選択と拡張アルゴリズムを提案し、数学推論とロボットアーム操作で有効性を示した。
原題: Prompt Selection and Augmentation for Few Examples Code Generation in Large Language Model and its Application in Robotics Control / On Tai Wu, Frodo Kin Sun Chan, Zunhao Zhang 他
日本語で読む → - 論文VLA画像認識
WaterVG: テキスト誘導型視覚とミリ波レーダーによる水路の視覚的グラウンディング
USVの水路知覚向けに、テキストプロンプトで視覚とミリ波レーダーを統合した初の視覚的グラウンディングデータセットWaterVGと、低消費電力モデルPotamoiを提案した。
原題: WaterVG: Waterway Visual Grounding based on Text-Guided Vision and mmWave Radar / Runwei Guan, Liye Jia, Fengyufan Yang 他
日本語で読む → - 論文VLAロボティクス
LLM/VLM制御ロボティクスの脆弱性
LLMやVLMで制御されるロボットが入力のわずかな変化に弱く、タスク成功率が最大22.2%低下することを実験で示した研究。
原題: On the Vulnerability of LLM/VLM-Controlled Robotics / Xiyang Wu, Souradip Chakraborty, Ruiqi Xian 他
日本語で読む → - 論文VLAロボティクス
都市環境におけるLLMナビゲーションの安全性はどれほどか?
都市部の屋外ナビゲーションにLLMを用いたモデルに対し、プロンプトを摂動させる攻撃手法(NPI/NPS)を提案し、ホワイトボックス・ブラックボックス両設定で性能が大きく低下することを示した。
原題: How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments? / Congcong Wen, Jiazhao Liang, Shuaihang Yuan 他
日本語で読む → - 論文VLAロボティクス
RAG-Driver: 検索拡張インコンテキスト学習による汎化可能な運転説明生成
マルチモーダル大規模言語モデルに検索拡張インコンテキスト学習を組み込み、未学習環境でも高精度な運転行動の説明と制御信号予測を実現した。
原題: RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model / Jianhao Yuan, Shuyang Sun, Daniel Omeiza 他
日本語で読む → - 論文VLAロボティクス
お行儀よくね――LLMで卓上ロボットHaruの会話を表情豊かに
LLMを社会性ロボットに組み込み、感情認識モデルと絵文字を手がかりに音声のトーンや身体動作を選ばせることで、性格に合った表情豊かな会話を自動生成するシステムを構築し、 pilot study で好意的な評価を得た。
原題: Ain't Misbehavin' -- Using LLMs to Generate Expressive Robot Behavior in Conversations with the Tabletop Robot Haru / Zining Wang, Paul Reisert, Eric Nichols 他
日本語で読む → - 論文VLA機械学習
ヒルベルト表現による基盤ポリシー
ラベルなしオフラインデータから、時間構造を保つ潜在表現を学習し、その空間を方向性のある移動で覆うことで、多様な長期行動を獲得し任意の新規タスクにゼロショット適応できる汎用ポリシーを事前学習する手法を提案。
原題: Foundation Policies with Hilbert Representations / Seohong Park, Tobias Kreiman, Sergey Levine
日本語で読む → - 論文VLA画像認識
CLIP-Loc: 物体ベース地図におけるグローバル位置推定のためのマルチモーダルランドマーク対応付け
物体ベース地図とカメラ画像を用いたグローバル位置推定において、ランドマークに自然言語記述を付与し、視覚言語モデルで画像観測との概念的類似度に基づく対応付けを行うことで、従来法より高精度かつ少ない反復で位置推定を実現した。
原題: CLIP-Loc: Multi-modal Landmark Association for Global Localization in Object-based Maps / Shigemichi Matsuzaki, Takuma Sugino, Kazuhito Tanaka 他
日本語で読む → - 論文VLA画像認識
NaVid: ビデオベースVLMが視覚言語ナビゲーションの次の一歩を計画する
単眼RGBカメラの動画ストリームのみから次の行動を出力するビデオベース大規模視覚言語モデルNaVidを提案し、地図・オドメトリ・深度なしでシミュレーションと実世界の両方で最先端のナビゲーション性能を達成した。
原題: NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation / Jiazhao Zhang, Kunyu Wang, Rongtao Xu 他
日本語で読む → - 論文VLAロボティクス
RL-VLM-F: 視覚言語基盤モデルのフィードバックによる強化学習
タスクのテキスト説明とエージェントの視覚観測のみから、視覚言語基盤モデルに画像ペアの選好を問い合わせて報酬関数を自動生成し、人間の監督なしに様々なタスクを学習する手法を提案。
原題: RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback / Yufei Wang, Zhanyi Sun, Jesse Zhang 他
日本語で読む →
PR・アフィリエイト広告
