論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/9/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA自然言語
コボットのノーコードプログラミングに向けて:対話型プログラミングのための大規模コードモデルによるコード合成実験
大規模言語モデルを用いて、自然言語による指示から協働ロボット(コボット)の組立作業プログラムを対話的に生成する手法を検討し、その性能を評価した。
原題: Towards No-Code Programming of Cobots: Experiments with Code Synthesis by Large Code Models for Conversational Programming / Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen
日本語で読む → - 論文VLAロボティクス
PLATO: LLMとアフォーダンスを活用した道具操作のためのプランニング
環境の事前知識なしに、複数のLLMエージェントが自然言語指示を解釈し、道具のアフォーダンスを予測して長期的な道具使用タスクの行動計画を生成するシステムを提案。
原題: PLATO: Planning with LLMs and Affordances for Tool Manipulation / Arvind Car, Sai Sravan Yarlagadda, Alison Bartsch 他
日本語で読む → - 論文VLAロボティクス
事前学習済み視覚言語モデルとブラックボックス最適化によるロボットの環境状態認識
事前学習済み視覚言語モデルとブラックボックス最適化を用いて、扉の開閉や水道の流水などの環境状態を統一的な手法で認識する。
原題: Robotic Environmental State Recognition with Pre-Trained Vision-Language Models and Black-Box Optimization / Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
Robotic-CLIP: ロボット応用のための行動データによるCLIPの微調整
大規模な行動動画データでCLIPを対照学習により微調整し、動的な行動理解を可能にしたRobotic-CLIPを提案。言語駆動型ロボットタスクで既存CLIPモデルを上回り、実世界の把持タスクでも有効性を示した。
原題: Robotic-CLIP: Fine-tuning CLIP on Action Data for Robotic Applications / Nghia Nguyen, Minh Nhat Vu, Tung D. Ta 他
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる間取り図マップの解析
視覚言語モデル(VLM)に間取り図を与え、複雑な屋内ナビゲーションのタスク計画を生成させることで、地図解析能力を評価した研究。
原題: Vision Language Models Can Parse Floor Plan Maps / David DeFazio, Hrudayangam Mehta, Meng Wang 他
日本語で読む → - 論文VLAロボティクス
心の理論を用いた人間とロボットの協調における実用的な音声指示追従
雑音や発音の乱れがある音声指示でも、環境の文脈と心の理論に基づく推論でロボットが実用的に従えるニューロシンボリックモデルSIFToMを提案し、シミュレーションと実環境で有効性を示した。
原題: Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind / Lance Ying, Xinyi Li, Shivam Aarya 他
日本語で読む → - 論文VLAロボティクス
TinyVLA: ロボットマニピュレーションのための高速・データ効率的な視覚言語行動モデル
大規模事前学習不要で高速推論が可能なコンパクトな視覚言語行動モデルTinyVLAを提案し、シミュレーションと実機でOpenVLAを上回る速度とデータ効率を実現した。
原題: TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation / Junjie Wen, Yichen Zhu, Jinming Li 他
日本語で読む → - 論文VLAロボティクス
自律型移動マニピュレーションタスクにおける言語モデルの接地
強化学習と全身最適化で動作ライブラリを構築し、LLMの計画・推論能力で階層的タスクグラフを生成することで、自由文の指示からヒューマノイドロボットの移動と操作を統合的に実行するフレームワークを提案した。
原題: Grounding Language Models in Autonomous Loco-manipulation Tasks / Jin Wang, Nikos Tsagarakis
日本語で読む → - 論文VLAロボティクス
R-AIF: 能動的推論と世界モデルによる疎報酬ロボットタスクの画素からの解決
部分観測マルコフ決定過程(POMDP)下で、画素入力と疎な報酬から連続行動を学習する能動的推論エージェントを提案し、事前選好学習と自己修正スケジュールで性能を向上させた。
原題: R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models / Viet Dung Nguyen, Zhizhuo Yang, Christopher L. Buckley 他
日本語で読む → - 論文VLA画像認識
ReVLA: ロボット基盤モデルの視覚的ドメイン制限を回復する
既存のロボット基盤モデルが視覚的なドメイン外シーンに弱い問題を分析し、モデルマージによる段階的バックボーン復元で視覚汎化性能を回復させる手法を提案した。
原題: ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models / Sombit Dey, Jan-Nico Zaech, Nikolay Nikolov 他
日本語で読む → - 論文VLAロボティクス
RT-1-X基盤モデルをSCARAロボットに適用する
ロボット基盤モデルRT-1-Xを訓練時に見ていないSCARAロボットに適用し、ゼロショットでは汎化しないが、デモによるファインチューニングでスキルのみが転移することを示した。
原題: Bringing the RT-1-X Foundation Model to a SCARA robot / Jonathan Salzer, Arnoud Visser
日本語で読む → - 論文VLAロボティクス
Embodied-RAG: 具現化エージェントのための汎用ノンパラメトリック記憶検索生成
ロボットの探索で得たマルチモーダルな知識を階層的な「意味の森」として記憶し、ナビゲーションや言語生成に活用するRAGフレームワークを提案した。
原題: Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation / Quanting Xie, So Yeon Min, Pengliang Ji 他
日本語で読む → - 論文VLAロボティクス
GRACE: LLMと人間の説明を活用した社会的に適切なロボット行動の生成
LLMの常識知識と人間の説明を双方向の生成ネットワークで統合し、社会的規範と個人の好みに沿ったロボット行動を生成・説明する手法を提案。
原題: GRACE: Generating Socially Appropriate Robot Actions Leveraging LLMs and Human Explanations / Fethiye Irmak Dogan, Umut Ozyurt, Gizem Cinar 他
日本語で読む → - 論文VLA画像認識
3Dシーンにおけるマルチモーダル状況推論
3Dシーン内の状況理解のための大規模マルチモーダル質問応答データセットMSQAとナビゲーション評価ベンチマークMSNNを提案し、既存モデルの限界とマルチモーダル入力の重要性を示した。
原題: Multi-modal Situated Reasoning in 3D Scenes / Xiongkun Linghu, Jiangyong Huang, Xuesong Niu 他
日本語で読む → - 論文VLAロボティクス
AssistantX: LLMを活用した人間共存環境における能動的アシスタント
4つのLLMエージェントからなるマルチエージェント構成で、人間がいる実環境で自律的に動作し、指示への反応や状況に応じた戦略調整、人間への能動的な支援要請を行うアシスタントを提案した。
原題: AssistantX: An LLM-Powered Proactive Assistant in Collaborative Human-Populated Environment / Nan Sun, Bo Mao, Yongchang Li 他
日本語で読む → - 論文VLAロボティクス
異種ロボットデータによる自己受容・視覚学習のスケーリング
異なるロボット身体とタスクのデータを大規模に事前学習し、共有可能なポリシー表現を学習するHPTを提案。未知タスクでの微調整性能を20%以上向上させた。
原題: Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers / Lirui Wang, Xinlei Chen, Jialiang Zhao 他
日本語で読む → - 論文VLAロボティクス
拡散方策の政策最適化
拡散モデルベースの方策を強化学習の政策勾配法でファインチューニングするDPPOを提案し、ロボット操作タスクで高い性能と安定性を示した。
原題: Diffusion Policy Policy Optimization / Allen Z. Ren, Justin Lidard, Lars L. Ankile 他
日本語で読む → - 論文VLAcs.SE
VLATest: ロボットマニピュレーションのための視覚-言語-行動モデルのテストと評価
VLAモデルを多様なシーンでテストするファジングフレームワークVLATestを提案し、7つの代表モデルの堅牢性を評価した。
原題: VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation / Zhijie Wang, Zhehua Zhou, Jiayang Song 他
日本語で読む → - 論文VLAAI
Cog-GA: 大規模言語モデルによる連続環境での視覚言語ナビゲーション生成エージェント
大規模言語モデルを基盤に、認知マップ構築・ウェイポイント予測・二チャネル場面記述・反省機構を組み合わせ、連続3D環境での視覚言語ナビゲーションを人間らしく効率的に行う生成エージェントを提案した。
原題: Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments / Zhiyuan Li, Yanfeng Lu, Yao Mu 他
日本語で読む → - 論文VLAロボティクス
SELP: 大規模言語モデルを用いたロボットエージェントの安全で効率的なタスクプラン生成
自然言語命令からLTL式を生成し、等価投票・制約付きデコーディング・ドメイン特化ファインチューニングを組み合わせて、安全で効率的なロボットのタスクプランを生成する手法SELPを提案した。
原題: SELP: Generating Safe and Efficient Task Plans for Robot Agents with Large Language Models / Yi Wu, Zikang Xiong, Yiran Hu 他
日本語で読む → - 論文VLAAI
ゲーム開始:言語モデルを強化学習の実験者として活用する
VLMを用いて強化学習の実験サイクルを自動化し、タスク提案・スキル分解・カリキュラム構築を行うエージェントアーキテクチャを提案した。
原題: Game On: Towards Language Models as RL Experimenters / Jingwei Zhang, Thomas Lampe, Abbas Abdolmaleki 他
日本語で読む → - 論文VLAロボティクス
AlignBot: ユーザーのリマインダーに沿ったVLM駆動型家庭用ロボットのカスタマイズタスクプランニング
家庭用ロボット向けに、微調整したLLaVA-7BをGPT-4oのアダプタとして用い、ユーザーのリマインダーを構造化指示に変換してカスタマイズされたタスク計画を生成するフレームワークを提案し、実環境実験で成功率86.8%を達成した。
原題: AlignBot: Aligning VLM-powered Customized Task Planning with User Reminders Through Fine-Tuning for Household Robots / Zhaxizhuoma Zhaxizhuoma, Pengan Chen, Ziniu Wu 他
日本語で読む → - 論文VLAAI
継続学習による視覚言語ナビゲーション
視覚言語ナビゲーション(VLN)エージェントが新しい環境を逐次学習しながら過去の知識を保持できるよう、脳の記憶リプレイに着想を得た二重ループシナリオリプレイ手法(Dual-SR)を提案した研究。
原題: Vision-Language Navigation with Continual Learning / Zhiyuan Li, Yanfeng Lv, Ziqin Tu 他
日本語で読む → - 論文VLAロボティクス
言語埋め込みガウシアンスプラット(LEGS):移動ロボットによる部屋規模表現の漸進的構築
移動ロボットが環境を移動しながら、見た目と言語意味を統合した3D表現(LEGS)をオンラインで構築し、オープン語彙の物体検索を可能にする手法を提案。LERFより3.5倍高速で、最大66%の精度で物体を特定できる。
原題: Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot / Justin Yu, Kush Hari, Kishore Srinivas 他
日本語で読む → - 論文VLAロボティクス
VLM-Vac: VLM知識蒸留と言語誘導経験再生によるスマート掃除機の高度化
視覚言語モデル(VLM)の知識を小型モデルに蒸留し、言語誘導型経験再生で継続学習することで、ロボット掃除機が多様な背景でも物体を回避・吸引できるようにした研究。
原題: VLM-Vac: Enhancing Smart Vacuums through VLM Knowledge Distillation and Language-Guided Experience Replay / Reihaneh Mirjalili, Michael Krawez, Florian Walter 他
日本語で読む → - 論文VLAロボティクス
RoboNurse-VLA: 視覚-言語-行動モデルに基づく手術用器械出しロボットシステム
SAM 2とLlama 2を統合したVLAモデルにより、術者の音声指示に基づいて手術器械を高精度に把持・受け渡しするロボット看護師システムを開発した。
原題: RoboNurse-VLA: Robotic Scrub Nurse System based on Vision-Language-Action Model / Shunlei Li, Jin Wang, Rui Dai 他
日本語で読む → - 論文VLAロボティクス
Open-Nav: オープンソースLLMによる連続環境でのゼロショット視覚言語ナビゲーションの探求
オープンソースLLMを使い、連続環境でのゼロショット視覚言語ナビゲーションを実現するOpen-Navを提案。時空間Chain-of-Thought推論と詳細な物体・空間知識でシーン認識を強化し、閉源LLMに匹敵する性能を示した。
原題: Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs / Yanyuan Qiao, Wenqi Lyu, Hui Wang 他
日本語で読む → - 論文VLAロボティクス
KARMA:長期・短期記憶システムで身体性AIエージェントを強化
長期記憶に3Dシーングラフ、短期記憶に物体の位置・状態変化を記録する二重記憶構造をLLMに組み込み、家庭内の長系列タスク計画の成功率と効率を大幅に改善した。
原題: KARMA: Augmenting Embodied AI Agents with Long-and-short Term Memory Systems / Zixuan Wang, Bo Yu, Junzhe Zhao 他
日本語で読む → - 論文VLAロボティクス
VernaCopter: 形式仕様を用いた曖昧性のない自然言語駆動ロボット
自然言語の指示を信号時相論理(STL)仕様に変換し、LLMベースのロボット動作計画の曖昧さと不安定性を低減する手法を提案した論文。
原題: VernaCopter: Disambiguated Natural-Language-Driven Robot via Formal Specifications / Teun van de Laar, Zengjie Zhang, Shuhao Qi 他
日本語で読む → - 論文VLA機械学習
豊富な報酬の落とし穴:VLM報酬のノイズを理解し軽減する
VLMが生成する報酬信号の偽陽性ノイズが強化学習エージェントの性能を低下させることを明らかにし、二値相互情報量(BiMI)報酬関数でノイズを軽減する手法を提案した。
原題: The Dark Side of Rich Rewards: Understanding and Mitigating Noise in VLM Rewards / Sukai Huang, Shu-Wei Liu, Nir Lipovetzky 他
日本語で読む →
PR・アフィリエイト広告
