論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
社会的に敏感な領域における基盤モデルのガードレール構築のための接地オブザーバフレームワーク
ロボットの行動選択に着想を得て、基盤モデルの振る舞いをリアルタイムに監視・調整する「接地オブザーバ」フレームワークを提案し、雑談を維持するロボット対話システムで実証した。
原題: A Grounded Observer Framework for Establishing Guardrails for Foundation Models in Socially Sensitive Domains / Rebecca Ramnauth, Dražen Brščić, Brian Scassellati
日本語で読む → - 論文VLAロボティクス
ロボットに怒鳴らないで:言語モデル駆動ロボットのための協調インターフェースとしての物理的修正
LLMで動作するロボットに対し、人間が物理的な力で動きを修正すると、その意図を再推定して自然言語に変換し、以後のLLMの指示生成を改善する手法を提案した。
原題: Don't Yell at Your Robot: Physical Correction as the Collaborative Interface for Language Model Powered Robots / Chuye Zhang, Yifei Simon Shao, Harshil Parekh 他
日本語で読む → - 論文VLAロボティクス
Moto: 動画からロボット操作を学習するための橋渡し言語としての潜在モーショントークン
動画を潜在モーショントークン列に変換し、自己回帰的に事前学習することで、ロボット操作に転移可能な運動知識を獲得する手法を提案。
原題: Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos / Yi Chen, Yuying Ge, Weiliang Tang 他
日本語で読む → - 論文VLA画像認識
CAD-Assistant:ツール拡張VLLMによる汎用CADタスクソルバ
VLLMをプランナーとし、FreeCADのPython APIやスケッチ画像パラメータ化などのツールを組み合わせて、多様なCAD設計タスクを解く汎用エージェントを提案。
原題: CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers / Dimitrios Mallis, Ahmet Serdar Karadeniz, Sebastian Cavada 他
日本語で読む → - 論文VLA画像認識
動画予測ポリシー:予測的視覚表現を持つ汎用ロボットポリシー
動画拡散モデルが持つ未来予測的な視覚表現を活用し、ロボット操作のための汎用ポリシーを学習する手法を提案。Calvinベンチマークと実世界の巧緻操作で大幅な性能向上を達成した。
原題: Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations / Yucheng Hu, Yanjiang Guo, Pengchao Wang 他
日本語で読む → - 論文VLAロボティクス
NaVILA: 脚式ロボットのための視覚-言語-行動モデルによるナビゲーション
脚式ロボットの視覚言語ナビゲーションにおいて、VLAモデルで「75cm前進」のような中間行動を生成し、それを強化学習による歩行ポリシーで実行する2階層フレームワークを提案した論文。
原題: NaVILA: Legged Robot Vision-Language-Action Model for Navigation / An-Chieh Cheng, Yandong Ji, Zhaojing Yang 他
日本語で読む → - 論文VLAロボティクス
Code-as-Monitor: 制約認識型ビジュアルプログラミングによるロボットの受動的・能動的障害検出
VLMが生成したコードで時空間制約を評価し、ロボットの予期せぬ失敗の事後検出と予見可能な失敗の事前防止を統一的に実現する手法を提案。
原題: Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection / Enshen Zhou, Qi Su, Cheng Chi 他
日本語で読む → - 論文VLA画像認識
状態から視覚へのDAggerと視覚強化学習はいつ選ぶべきか?
状態方策を事前学習してからオンライン模倣で視覚方策を学ぶ2段階手法State-to-Visual DAggerと視覚RLを16タスクで比較し、難タスクではDAggerが安定して優れるがサンプル効率の利点は限定的だと示した実証研究。
原題: When Should We Prefer State-to-Visual DAgger Over Visual Reinforcement Learning? / Tongzhou Mu, Zhaoyang Li, Stanisław Wiktor Strzelecki 他
日本語で読む → - 論文VLAロボティクス
RoboMatrix: スキル中心の階層型フレームワークによるオープンワールドでのスケーラブルなロボットタスク計画と実行
多様なタスクから汎用メタスキルを抽出し、LLMによるタスク分解と移動・操作を統合したVLAモデルで未見タスクを遂行するスキル中心の階層型ロボットフレームワークを提案した。
原題: RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World / Weixin Mao, Weiheng Zhong, Zhou Jiang 他
日本語で読む → - 論文VLAロボティクス
QUART-Online: 四足歩行ロボット学習のための遅延フリー大規模マルチモーダル言語モデル
四足歩行ロボットの視覚-言語-行動タスクにおいて、推論遅延を解消するために行動チャンク離散化を導入し、言語基盤モデルの性能を落とさずにリアルタイム推論を実現した研究。
原題: QUART-Online: Latency-Free Large Multimodal Language Model for Quadruped Robot Learning / Xinyang Tong, Pengxiang Ding, Yiguo Fan 他
日本語で読む → - 論文VLAロボティクス
たった1段落で十分:相互作用する信頼されたLLMによる豊かなロボット行動
4つのLLMを自然言語で連携させてロボットを制御し、低い通信レートでも多様なタスクを実現できることを示した研究。
原題: A Paragraph is All It Takes: Rich Robot Behaviors from Interacting, Trusted LLMs / OpenMind, Shaohong Zhong, Adam Zhou 他
日本語で読む → - 論文VLAAI
LLMから実機エージェントへの身体性Chain-of-Thought蒸留
大規模言語モデルの身体性推論能力を階層的に分解し、小型言語モデルベースの方策へ蒸留することで、容量制限のある実機デバイス上で効率的に複雑な身体性タスクを実行できるフレームワークDeDerを提案した。
原題: Embodied CoT Distillation From LLM To Off-the-shelf Agents / Wonje Choi, Woo Kyung Kim, Minjong Yoo 他
日本語で読む → - 論文自動運転VLAロボティクス
PKRD-CoT: 自動運転向けマルチモーダル大規模言語モデルのための統合チェーン・オブ・ソート・プロンプティング
自動運転の知覚・知識・推論・意思決定の4能力に基づくゼロショットCoTプロンプト設計PKRD-CoTを提案し、GPT-4.0などMLLMの運転タスク性能を評価した研究。
原題: PKRD-CoT: A Unified Chain-of-thought Prompting for Multi-Modal Large Language Models in Autonomous Driving / Xuewen Luo, Fan Ding, Yinsheng Song 他
日本語で読む → - 論文VLA画像認識
SOLAMI:3D自律キャラクターとの没入型インタラクションのための社会的視覚-言語-行動モデリング
3Dキャラクターが人間と社会的に交流できるよう、視覚・言語・行動を統合した初のエンドツーエンドVLAフレームワークを提案し、合成データセットとVRインターフェースを開発した。
原題: SOLAMI: Social Vision-Language-Action Modeling for Immersive Interaction with 3D Autonomous Characters / Jianping Jiang, Weiye Xiao, Zhengyu Lin 他
日本語で読む → - 論文VLAAI
車載ビジョン言語モデルによる個人適応型自動運転の運動制御:システム設計と実車検証
車載向けの軽量VLMとRAGベースの記憶モジュールを組み合わせ、人間のフィードバックから個人の運転嗜好を継続学習して低遅延で個別化された運転を実現し、実車実験でテイクオーバー率を最大76.9%削減した。
原題: On-Board Vision-Language Models for Personalized Autonomous Vehicle Motion Control: System Design and Real-World Validation / Can Cui, Zichong Yang, Yupeng Zhou 他
日本語で読む → - 論文VLA画像認識
RoboSpatial:ロボティクスのための2D・3D視覚言語モデルに空間理解を教える
ロボティクス向けの大規模空間理解データセットRoboSpatialを構築し、2D・3Dの視覚言語モデルに空間推論を学習させることで、空間アフォーダンス予測やロボット操作などのタスク性能を向上させた。
原題: RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics / Chan Hee Song, Valts Blukis, Jonathan Tremblay 他
日本語で読む → - 論文VLAロボティクス
スパイキングTransformer拡散ポリシーによる脳模倣行動生成
スパイキングニューラルネットと拡散モデルを組み合わせたTransformerベースのポリシーを提案し、ロボット操作タスクで従来手法を上回る性能を示した。
原題: Brain-inspired Action Generation with Spiking Transformer Diffusion Policy Model / Qianhao Wang, Yinqian Sun, Enmeng Lu 他
日本語で読む → - 論文VLA画像認識
視覚的場所認識における新興トレンドと研究機会の探求
ロボットの自己位置推定やSLAMで重要となる視覚的場所認識について、Vision-Languageモデルなど最近の研究動向と今後の機会を概観したサーベイ。
原題: Exploring Emerging Trends and Research Opportunities in Visual Place Recognition / Antonios Gasteratos, Konstantinos A. Tsintotas, Tobias Fischer 他
日本語で読む → - 論文VLAロボティクス
言語駆動ロボティクスの堅牢性向上:失敗低減のためのモジュラーアーキテクチャ
小型LLMを用いたロボットのタスク計画において、目標条件付きPOMDPで失敗モードを整理し、「期待される結果」モジュールとフィードバック機構を組み合わせたモジュラー構成で成功率を改善した研究。
原題: Enhancing Robustness in Language-Driven Robotics: A Modular Approach to Failure Reduction / Émiland Garrabé, Pierre Teixeira, Mahdi Khoramshahi 他
日本語で読む → - 論文VLAロボティクス
行動予測と画像予測の統合拡散過程による視覚ポリシー学習
画像予測とロボット行動生成を同一の拡散過程で統合し、将来画像と行動を同時に予測する視覚ポリシー学習フレームワークPADを提案。Metaworldベンチマークで26.3%の相対改善を達成。
原題: Prediction with Action: Visual Policy Learning via Joint Denoising Process / Yanjiang Guo, Yucheng Hu, Jianke Zhang 他
日本語で読む → - 論文VLAロボティクス
ClevrSkills: ロボティクスにおける構成的言語・視覚推論
ロボット操作タスクの構成的推論を評価するベンチマークClevrSkillsを提案し、視覚言語モデルが低レベル技能を組み合わせた高レベルタスクに失敗することを示した。
原題: ClevrSkills: Compositional Language and Visual Reasoning in Robotics / Sanjay Haresh, Daniel Dijkman, Apratim Bhattacharyya 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる自律水上艇のCOLREGs意思決定と制御
大規模言語モデルを自律水上艇の意思決定に初めて適用し、海上衝突予防規則に基づく衝突回避と航路追従を実現した研究。
原題: Large Language Model-based Decision-making for COLREGs and the Control of Autonomous Surface Vehicles / Klinsmann Agyei, Pouria Sarhadi, Wasif Naeem
日本語で読む → - 論文VLAロボティクス
DeeR-VLA:ロボット実行のためのマルチモーダル大規模言語モデルの動的推論
ロボットの計算資源制約に対応するため、状況に応じてMLLMの活性化サイズを自動調整する動的早期終了フレームワークを提案し、CALVINベンチマークで効率と性能を両立させた。
原題: DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution / Yang Yue, Yulin Wang, Bingyi Kang 他
日本語で読む → - 論文VLA画像認識
エンドツーエンドロボット学習のための空間的視覚知覚
単眼深度推定と新たな画像拡張AugBlenderを組み合わせ、照明変化など環境変動に頑健な映像ベースの空間知覚フレームワークを提案し、模倣学習の汎化性能を向上させた。
原題: Spatially Visual Perception for End-to-End Robotic Learning / Travis Davies, Jiahuan Yan, Xiang Chen 他
日本語で読む → - 論文VLAロボティクス
ロボット基盤モデル監査のための身体性レッドチーミング
視覚言語モデルを使って文脈に即した難易度の高い指示を自動生成し、言語条件付きロボットモデルの性能と安全性を評価する手法を提案した。
原題: Embodied Red Teaming for Auditing Robotic Foundation Models / Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi 他
日本語で読む → - 論文VLAロボティクス
GRAPE: 選好アライメントによるロボット方策の汎化
成功・失敗の試行から報酬を暗黙的に学習し、大規模視覚言語モデルが提案する時空間制約で選好を自動設計することで、VLAモデルの未見タスクへの汎化性能を高める手法。
原題: GRAPE: Generalizing Robot Policy via Preference Alignment / Zijian Zhang, Kaiyuan Zheng, Zhaorun Chen 他
日本語で読む → - 論文VLAロボティクス
ロボット中心プーリングによる身体所有感を高めたEnd-to-End視覚運動方策学習
画像特徴をロボットの固有感覚状態と相関する領域に集約するRobot-centric Poolingを提案し、自己や周囲の類似物に頑健な視覚運動方策を実現した。
原題: Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling / Zheyu Zhuang, Ville Kyrki, Danica Kragic
日本語で読む → - 論文VLAロボティクス
ゼロショット物体中心指示追従:基盤モデルと従来型ナビゲーションの統合
因子グラフ地図上で自然言語指示をゼロショットで接地するLIFGIFを提案し、物体中心VLNデータセットOC-VLNで評価、Spotロボットでの実世界実証も行った。
原題: Zero-shot Object-Centric Instruction Following: Integrating Foundation Models with Traditional Navigation / Sonia Raychaudhuri, Duy Ta, Katrina Ashton 他
日本語で読む → - 論文VLA画像認識
NavAgent: 都市街路ビューのマルチスケール融合によるUAV身体性視覚言語ナビゲーション
大規模視覚言語モデルを活用し、トポロジカルマップ・パノラマ・ランドマークのマルチスケール情報を統合して都市環境でのUAVナビゲーションを実現するモデルを提案。
原題: NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation / Youzhi Liu, Fanglong Yao, Yuanchang Yue 他
日本語で読む → - 論文VLAロボティクス
ロボティクスにおける視覚言語行動モデルの敵対的脆弱性の探究
VLAモデルに対する敵対的パッチ攻撃を提案し、シミュレーションと実環境で最大100%のタスク成功率低下を引き起こすことを示した。
原題: Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics / Taowen Wang, Cheng Han, James Chenhao Liang 他
日本語で読む →
PR・アフィリエイト広告
