論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
文脈ベースの視覚言語による場所認識
ゼロショットの言語駆動型セマンティックセグメンテーションで画素埋め込みを抽出し、追加学習なしでシーン変化に頑健な視覚的場所認識を実現した。
原題: Context-Based Visual-Language Place Recognition / Soojin Woo, Seong-Woo Kim
日本語で読む → - 論文VLAロボティクス
VLMが見て、ロボットが動く:人間のデモ動画からロボット行動計画を生成
視覚言語モデル(VLM)を用いて人間のデモ動画を解釈し、ロボットのタスク計画を自動生成する手法SeeDoを提案。キーフレーム選択と視覚認識、VLM推論を統合し、シミュレーションと実機で有効性を検証した。
原題: VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model / Beichen Wang, Juexiao Zhang, Shuwen Dong 他
日本語で読む → - 論文VLAロボティクス
事前学習済み視覚言語モデルの画像-テキスト検索とブラックボックス最適化によるロボット状態認識
事前学習済み視覚言語モデルの画像-テキスト検索を利用し、複数の言語プロンプトとその重みをブラックボックス最適化で調整することで、再学習なしに多様な環境状態を認識する手法を提案。
原題: Robotic State Recognition with Image-to-Text Retrieval Task of Pre-Trained Vision-Language Model and Black-Box Optimization / Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
GHIL-Glue: フィルタリングされたサブゴール画像による階層制御
生成モデルが作るサブゴール画像をフィルタリングし、下位方策と効果的に繋ぐことで、言語条件付きロボット操作の汎化性能を向上させた研究。
原題: GHIL-Glue: Hierarchical Control with Filtered Subgoal Images / Kyle B. Hatch, Ashwin Balakrishna, Oier Mees 他
日本語で読む → - 論文VLAロボティクス
言語駆動型方策蒸留によるマルチエージェント強化学習の協調運転
LLMを教師エージェントとして用い、その意思決定を小規模な生徒エージェントに蒸留することで、協調運転タスクにおけるMARLの学習効率と性能を向上させる手法を提案した。
原題: Language-Driven Policy Distillation for Cooperative Driving in Multi-Agent Reinforcement Learning / Jiaqi Liu, Chengkai Xu, Peng Hang 他
日本語で読む → - 論文VLA自然言語
対話によるコード生成:自動運転車テスト用シナリオ生成のための対話システム設計事例
自動運転車のシミュレーションテスト用に、自然言語でシナリオを生成する対話システムを設計。対話が成功に重要で、成功率が4.5倍向上することを示した。
原題: Conversational Code Generation: a Case Study of Designing a Dialogue System for Generating Driving Scenarios for Testing Autonomous Vehicles / Rimvydas Rubavicius, Antonio Valerio Miceli-Barone, Alex Lascarides 他
日本語で読む → - 論文VLA機械学習
制御指向の視覚潜在表現クラスタリング
模倣学習における視覚表現空間が制御に有用なクラスタ構造を持つことを示し、それを正則化に用いることで性能を向上させた研究。
原題: Control-oriented Clustering of Visual Latent Representation / Han Qi, Haocheng Yin, Heng Yang
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる対話の位置曖昧性解消とロボットナビゲーション
屋内ロボットが自然言語指示の位置曖昧性を、大規模言語モデルと視覚言語モデルによる複数ターンの対話で解消し、対象物体のIDから3D深度マップへとマッピングして目的地へ移動する手法を提案した。
原題: Resolving Positional Ambiguity in Dialogues by Vision-Language Models for Robot Navigation / Kuan-Lin Chen, Tzu-Ti Wei, Li-Tzu Yeh 他
日本語で読む → - 論文VLAロボティクス
動画からの潜在行動事前学習
ロボットの行動ラベルなしでインターネット規模の動画からVLAモデルを事前学習する手法を提案し、実世界のマニピュレーションタスクで既存手法を上回る性能を示した。
原題: Latent Action Pretraining from Videos / Seonghyeon Ye, Joel Jang, Byeongguk Jeon 他
日本語で読む → - 論文VLA自然言語
身体性会話AIのためのユーザーエージェントシミュレーション
大規模言語モデルを用いて、仮想環境内でロボットと対話するユーザーエージェントを構築し、TEAChデータセットと比較して人間らしい対話行動を生成できるか評価した。
原題: Simulating User Agents for Embodied Conversational-AI / Daniel Philipov, Vardhan Dongre, Gokhan Tur 他
日本語で読む → - 論文VLAロボティクス
拡散トランスフォーマーポリシー
大規模マルチモーダル拡散トランスフォーマーで連続行動系列を直接ノイズ除去し、多様なロボットデータセットで汎化性能を向上させる手法を提案。
原題: Diffusion Transformer Policy / Zhi Hou, Tianyi Zhang, Yuwen Xiong 他
日本語で読む → - 論文VLAロボティクス
GenDP: カテゴリレベル汎化を実現する3Dセマンティックフィールド拡散ポリシー
マルチビューRGBDから大規模視覚モデルで3D記述子場を生成し、参照記述子と比較して意味場を得ることで、拡散ポリシーの未見物体への汎化性能を20%から93%に向上させた。
原題: GenDP: 3D Semantic Fields for Category-Level Generalizable Diffusion Policy / Yixuan Wang, Guang Yin, Binghao Huang 他
日本語で読む → - 論文VLA自然言語
身体性エージェントインターフェース:身体的意思決定のためのLLMベンチマーク
LLMを用いた身体的意思決定を統一的に評価するための汎用インターフェースを提案し、多様なタスク・モジュール・細粒度エラー指標でLLMの能力を体系的に分析するベンチマークを構築した。
原題: Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making / Manling Li, Shiyu Zhao, Qineng Wang 他
日本語で読む → - 論文VLAロボティクス
汎用ロボット基盤モデルを価値誘導で操る:V-GPS
オフライン強化学習で学習した価値関数を用いて汎用ロボット方策の行動を再ランク付けし、微調整なしで性能を向上させる手法を提案。
原題: Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance / Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar 他
日本語で読む → - 論文VLAロボティクス
CoT-TL: 思考連鎖推論による低リソース時相知識表現を用いた計画指示の形式化
自然言語の計画指示をLinear Temporal Logicに変換する際、思考連鎖推論と意味役割を活用したデータ効率の良いインコンテキスト学習フレームワークCoT-TLを提案し、低データ設定で高精度を達成した。
原題: CoT-TL: Low-Resource Temporal Knowledge Representation of Planning Instructions Using Chain-of-Thought Reasoning / Kumar Manas, Stefan Zwicklbauer, Adrian Paschke
日本語で読む → - 論文VLAロボティクス
GR-2: ウェブ規模の知識を持つ生成型ビデオ・言語・行動モデルによるロボットマニピュレーション
3800万本のインターネット動画で事前学習した大規模モデルをロボット軌道で微調整し、100以上のタスクで平均97.7%の成功率と未知環境への高い汎化性能を実現した。
原題: GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation / Chi-Lam Cheang, Guangzeng Chen, Ya Jing 他
日本語で読む → - 論文VLAロボティクス
LADEV: ロボットマニピュレーションにおける視覚-言語-行動モデルのための言語駆動型テスト・評価プラットフォーム
自然言語からシミュレーション環境を自動生成し、言い換えタスク指示やバッチ評価によりVLAモデルを効率的にテスト・評価するプラットフォームLADEVを提案した。
原題: LADEV: A Language-Driven Testing and Evaluation Platform for Vision-Language-Action Models in Robotic Manipulation / Zhijie Wang, Zhehua Zhou, Jiayang Song 他
日本語で読む → - 論文VLAロボティクス
ロボット拡散トランスフォーマーの構成要素
拡散モデルとトランスフォーマーを組み合わせたロボット政策の設計指針を検討し、長期的な器用タスクで高性能を発揮する新アーキテクチャを提案した。
原題: The Ingredients for Robotic Diffusion Transformers / Sudeep Dasari, Oier Mees, Sebastian Zhao 他
日本語で読む → - 論文VLA画像認識
現実的なUAV視覚言語ナビゲーションに向けて:プラットフォーム・ベンチマーク・手法
UAV向けの視覚言語ナビゲーション(VLN)を現実的にするため、飛行制御を備えたOpenUAVプラットフォーム、約1.2万軌道のデータセット、補助情報付きベンチマークUAV-Need-Help、およびマルチモーダルLLMベースのナビゲーション手法を提案した論文。
原題: Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology / Xiangyu Wang, Donglin Yang, Ziqin Wang 他
日本語で読む → - 論文VLAロボティクス
生成ポリシーの失敗モードを解き明かす:一貫性と進捗のランタイムモニタリング
模倣学習ポリシーの失敗を、行動の時間的一貫性の統計的監視とVLMによるタスク進捗監視を組み合わせて検出するランタイム監視フレームワークSentinelを提案。
原題: Unpacking Failure Modes of Generative Policies: Runtime Monitoring of Consistency and Progress / Christopher Agia, Rohan Sinha, Jingyun Yang 他
日本語で読む → - 論文VLA機械学習
π0: 汎用ロボット制御のための視覚-言語-行動フローモデル
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
原題: π0: A Vision-Language-Action Flow Model for General Robot Control / Kevin Black, Noah Brown, Danny Driess 他
日本語で読む → - 論文VLAロボティクス
文脈内学習でLLMにロボット動作を予測させるRoboPrompt
訓練なしのテキストのみのLLMが、キーフレームから抽出した動作と物体姿勢をテキスト化した実演を文脈内学習に用いてロボット動作を直接予測するフレームワークを提案。
原題: In-Context Learning Enables Robot Action Prediction in LLMs / Yida Yin, Zekai Wang, Yuvan Sharma 他
日本語で読む → - 論文VLAロボティクス
Robo-MUTUAL: 単一モーダル学習によるロボットのマルチモーダルタスク指示
単一モーダルの指示データを活用し、クロスモーダルアライメントを事前学習とCollapse/Corrupt操作で強化することで、ロボットがマルチモーダルなタスク指示を理解できるフレームワークを提案。
原題: Robo-MUTUAL: Robotic Multimodal Task Specification via Unimodal Learning / Jianxiong Li, Zhihao Wang, Jinliang Zheng 他
日本語で読む → - 論文VLAロボティクス
Flex: 基盤モデル特徴量によるエンドツーエンドのテキスト指示視覚ナビゲーション
事前学習済みVLMを凍結したパッチ単位の特徴抽出器として使い、少量のシミュレーションデータで訓練したドローンの視覚ナビゲーション方策が、未知のテキスト指示や実世界の視覚変化に汎化できることを示した。
原題: Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features / Makram Chahine, Alex Quach, Alaa Maalouf 他
日本語で読む → - 論文自動運転/VLA画像認識
Senna: 大規模視覚言語モデルとEnd-to-End自動運転の橋渡し
LVLMが自然言語で高レベル計画を立て、End-to-Endモデルが精密な軌道を予測する自動運転システムSennaを提案。DriveX事前学習とnuScenes微調整で計画誤差と衝突率を大幅削減した。
原題: Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving / Bo Jiang, Shaoyu Chen, Bencheng Liao 他
日本語で読む → - 論文VLAロボティクス
ロボティクスにおける生成AIと強化学習の二重性:レビュー
生成AIと強化学習をロボティクスに統合する研究をレビューし、相互補完的な役割に着目した新たな分類法を提案するとともに、課題と今後の方向性を議論した。
原題: The Duality of Generative AI and Reinforcement Learning in Robotics: A Review / Angelo Moroncelli, Vishal Soni, Marco Forgione 他
日本語で読む → - 論文VLAロボティクス
UNCOM: 卓上環境におけるゼロショット文脈認識コマンド理解
音声・ジェスチャー・場面文脈を統合し、事前学習モデルを活用してゼロショットでロボットへの自然言語指示を構造化するハイブリッドフレームワークを提案。TIAGo++ロボットで実環境評価し82.39%の成功率を達成。
原題: UNCOM: Zero-shot Context-Aware Command Understanding for Tabletop Scenarios / Antonio Galiza Cerdeira Gonzalez, Paweł Gajewski, Bipin Indurkhya
日本語で読む → - 論文VLAロボティクス
イベントストリームと深層強化学習によるUAVのエンドツーエンド追跡
イベントカメラの生データを深層強化学習で直接UAVの制御指令に変換し、高速移動や照明変化に強いエンドツーエンドの追跡手法を提案した。
原題: Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking / Ala Souissi, Hajer Fradi, Panagiotis Papadakis
日本語で読む → - 論文VLAロボティクス
ワンステップ拡散方策:拡散蒸留による高速視覚運動方策
事前学習済み拡散方策を蒸留して1ステップで行動を生成する手法を提案し、推論速度を1.5Hzから62Hzへと大幅に高速化した。
原題: One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation / Zhendong Wang, Zhaoshuo Li, Ajay Mandlekar 他
日本語で読む → - 論文VLA自然言語
身体性強化学習エージェントへの教示:言語使用の情報量と多様性
強化学習エージェントへの言語入力について、フィードバックの情報量と表現の多様性が学習・推論に与える影響を4つのベンチマークで検証し、多様で情報豊富な言語教示が汎化と新タスクへの適応を促進することを示した。
原題: Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use / Jiajun Xi, Yinong He, Jianing Yang 他
日本語で読む →
PR・アフィリエイト広告
