論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAHCI
産業オートメーションへのオントロジーと知識拡張大規模言語モデルの適用:インダストリー5.0における人間とロボットの協働を実現するための意思決定ガイダンス
製造業における人間とロボットの協働に向けて、大規模言語モデル・オントロジー・知識グラフをどのように使い分けるべきかの意思決定ガイダンスを提供する論文。
原題: Applying Ontologies and Knowledge Augmented Large Language Models to Industrial Automation: A Decision-Making Guidance for Achieving Human-Robot Collaboration in Industry 5.0 / John Oyekan, Christopher Turner, Michael Bax 他
日本語で読む → - 論文VLAロボティクス
MA-ROESL:単一動画からの効率的なロボットスキル学習のための動作認識型高速報酬最適化
単一の動画からロコモーションスキルを学習する際、動作に着目したフレーム選択と3段階の高速報酬最適化により、VLM生成報酬の品質と学習効率を高める手法を提案。
原題: MA-ROESL: Motion-aware Rapid Reward Optimization for Efficient Robot Skill Learning from Single Videos / Xianghui Wang, Xinming Zhang, Yanjun Chen 他
日本語で読む → - 論文VLAロボティクス
視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さ
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
原題: Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning / Zhengyi Luo, Chen Tessler, Toru Lin 他
日本語で読む → - 論文VLAロボティクス
GraspVLA:10億規模の合成行動データで事前学習した把持基盤モデル
シミュレーションで生成した10億フレームの把持データセットSynGrasp-1Bを用いて、視覚・言語・行動を統合したVLAモデルGraspVLAを事前学習し、実世界でのゼロショット汎化と少数ショット適応を実現した。
原題: GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data / Shengliang Deng, Mi Yan, Songlin Wei 他
日本語で読む → - 論文VLAAI
身体性AIのためのマルチモーダル・マルチタスク連合基盤モデル:エッジ統合の可能性と課題
身体性AI向けに、マルチモーダル・マルチタスク基盤モデルと連合学習を統合した新パラダイムM3T-FFMを提案し、エッジ展開の課題をEMBODYフレームワークで整理したビジョン論文。
原題: Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: Potentials and Challenges for Edge Integration / Kasra Borazjani, Payam Abdisarabshali, Fardis Nadimi 他
日本語で読む → - 論文VLA画像認識
DriveMoE:自動運転のためのVision-Language-ActionモデルにおけるMixture-of-Experts
自動運転向けVLAモデルに視覚と行動のMixture-of-Expertsを導入し、状況に応じたカメラ選択と運転行動の専門化を実現してSOTA性能を達成した。
原題: DriveMoE: Mixture-of-Experts for Vision-Language-Action Model in End-to-End Autonomous Driving / Zhenjie Yang, Yilin Chai, Xiaosong Jia 他
日本語で読む → - 論文VLAロボティクス
Hume:視覚-言語-行動モデルにシステム2思考を導入
価値誘導型の熟考(システム2)と軽量な反応型ポリシー(システム1)を組み合わせた二重システムVLAモデルを提案し、器用なロボット制御を実現した。
原題: Hume: Introducing System-2 Thinking in Visual-Language-Action Model / Haoming Song, Delin Qu, Yuanqi Yao 他
日本語で読む → - 論文VLAロボティクス
UniVLA:タスク中心の潜在行動でどこでも行動を学習する
動画からタスク中心の潜在行動表現を学習し、異なるロボットや環境に展開可能な汎用視覚言語行動ポリシーを実現した研究。
原題: UniVLA: Learning to Act Anywhere with Task-centric Latent Actions / Qingwen Bu, Yanting Yang, Jisong Cai 他
日本語で読む → - 論文VLAロボティクス
条件付けが鍵:拡散ポリシーの学習は思ったより速い
条件拡散ポリシー学習で生じる「損失崩壊」を特定し、条件に依存したソース分布を用いるCocosを提案。少ない学習ステップとパラメータで大規模事前学習VLAに匹敵する性能を実現した。
原題: Conditioning Matters: Training Diffusion Policies is Faster Than You Think / Zibin Dong, Yicheng Liu, Yinchuan Li 他
日本語で読む → - 論文VLAロボティクス
意味的知能:低コストロボティクスにおけるGPT-4とA*プランニングの統合
低コストロボット上でGPT-4の意味推論とA*経路計画を組み合わせ、FSMを使わずに高レベルな指示を解釈して経路生成するハイブリッド手法を提案した論文。
原題: Semantic Intelligence: Integrating GPT-4 with A Planning in Low-Cost Robotics / Jesse Barkley, Abraham George, Amir Barati Farimani
日本語で読む → - 論文VLAロボティクス
物体中心の行動強化表現によるロボット視覚運動方策学習
Slot AttentionとSOLVモデルを組み合わせ、人間の行動動画で微調整した物体中心エンコーダを提案し、強化学習・模倣学習によるロボット視覚運動方策の性能を向上させた。
原題: Object-Centric Action-Enhanced Representations for Robot Visuo-Motor Policy Learning / Nikos Giannakakis, Argyris Manetas, Panagiotis P. Filntisis 他
日本語で読む → - 論文VLAロボティクス
ReLI: 言語に依存しない人間-ロボットインタラクション手法
大規模基盤モデルを言語から行動へのモデルに変換し、多言語での自然な対話を通じてロボットが環境を推論しタスクを実行できる言語非依存の手法を提案。140言語で90%以上の精度を達成。
原題: ReLI: A Language-Agnostic Approach to Human-Robot Interaction / Linus Nwankwo, Bjoern Ellensohn, Ozan Özdenizci 他
日本語で読む → - 論文VLA画像認識
GeoVLM: 視覚言語マッチングによる自動運転車のジオローカリゼーション改善
視覚言語モデルのゼロショット能力を活用し、地上画像と衛星画像のクロスビュー記述を生成して再ランキングを行うことで、自動運転車のクロスビュー地理的位置推定の精度を向上させる手法を提案。
原題: GeoVLM: Improving Automated Vehicle Geolocalisation Using Vision-Language Matching / Barkin Dagda, Muhammad Awais, Saber Fallah
日本語で読む → - 論文VLAロボティクス
身体性エージェントと人間の適応のための通信効率の良い欲求アラインメント
家庭支援シミュレーション環境HA-Desireを構築し、曖昧な指示からユーザの潜在的な欲求を推論して適応するフレームワークFAMERを提案した。欲求ベースの心的推論と反省ベースの通信モジュールにより、タスク実行と通信効率を大幅に向上させた。
原題: Communication-Efficient Desire Alignment for Embodied Agent-Human Adaptation / Yuanfei Wang, Xinju Huang, Fangwei Zhong 他
日本語で読む → - 論文VLAロボティクス
Mini Diffuser: 二段階ミニバッチによる高速マルチタスク拡散ポリシー学習
拡散ポリシー学習において、視覚言語条件ごとに複数のノイズ付き行動サンプルを組み合わせる二段階ミニバッチを導入し、情報漏洩を防ぐアーキテクチャ改良により、性能を保ちつつ学習時間とメモリを大幅に削減した。
原題: Mini Diffuser: Fast Multi-task Diffusion Policy Training Using Two-level Mini-batches / Yutong Hu, Pinhao Song, Kehan Wen 他
日本語で読む → - 論文VLAロボティクス
InSpire: 内在的空間推論を備えた視覚-言語-行動モデル
VLAモデルに「物体はロボットから見てどの方向か」という空間推論を組み込むことで、タスク無関係な視覚特徴への誤相関を抑え、汎化性能を高める手法を提案。
原題: InSpire: Vision-Language-Action Models with Intrinsic Spatial Reasoning / Ji Zhang, Shihan Wu, Xu Luo 他
日本語で読む → - 論文VLA機械学習
知識を保護する視覚-言語-行動モデル:高速学習・高速推論・より良い汎化
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
原題: Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better / Danny Driess, Jost Tobias Springenberg, Brian Ichter 他
日本語で読む → - 論文VLAロボティクス
GPSとNLPを用いた自動データキュレーションによる自動運転向け視覚言語ナビゲーション用指示-行動ペアの生成
GPS音声案内と映像を自動収集し、人手なしで指示-行動ペアを生成するプロトタイプADVLAT-Engineを構築、GPS指示を8種類に分類した。
原題: Automated Data Curation Using GPS & NLP to Generate Instruction-Action Pairs for Autonomous Vehicle Vision-Language Navigation Datasets / Guillermo Roque, Erika Maquiling, Jose Giovanni Tapia Lopez 他
日本語で読む → - 論文VLAAI
マルチモーダル大規模言語モデル駆動ロボットにおける感覚運動的自己認識
マルチモーダルLLMを自律移動ロボットに統合し、感覚運動経験を通じて自己認識(自己同定や予測的認識)を獲得できるかを調査した。
原題: Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots / Iñaki Dellibarda Varela, Pablo Romero-Sorozabal, Diego Torricelli 他
日本語で読む → - 論文VLAロボティクス
言語モデルによるエッジでのカメラ制御とシーン理解
大規模言語モデルを用いてPTZカメラを自然言語で制御するOPUSを提案し、エッジ展開向けに小型化しつつ高性能を実現した。
原題: Camera Control at the Edge with Language Models for Scene Understanding / Alexiy Buynitsky, Sina Ehsani, Bhanu Pallakonda 他
日本語で読む → - 論文VLA画像認識
視覚言語モデルに対するユーザー信頼のマッピング:研究動向・課題・展望
視覚言語モデル(VLM)とのユーザーインタラクションにおける信頼の動態に関する研究を、認知科学的能力・協働モード・エージェント行動の観点から整理し、今後の信頼研究の要件を提示したサーベイ。
原題: Mapping User Trust in Vision Language Models: Research Landscape, Challenges, and Prospects / Agnese Chiatti, Sara Bernardini, Lara Shibelski Godoy Piccolo 他
日本語で読む → - 論文VLA機械学習
Vision-Language-Actionモデルのための対話型ポストトレーニング
疎な成功報酬のみを用いた強化学習ベースの対話型ポストトレーニング手法RIPT-VLAを提案し、VLAモデルの適応性と成功率を大幅に向上させた。
原題: Interactive Post-Training for Vision-Language-Action Models / Shuhan Tan, Kairan Dou, Yue Zhao 他
日本語で読む → - 論文VLAロボティクス
LA-RCS: LLMエージェントに基づくロボット制御システム
LLMエージェントを活用し、ユーザ要求に基づく計画立案・環境観測・実行・適応を自律的に行う二重エージェント型ロボット制御システムを提案し、4種類のシナリオで平均90%の成功率を達成した。
原題: LA-RCS: LLM-Agent-Based Robot Control System / TaekHyun Park, YoungJun Choi, SeungHoon Shin 他
日本語で読む → - 論文VLAロボティクス
未見タスクへの汎化に挑む視覚-言語-行動マニピュレーションの限界探索
VLAモデルのクロスタスク汎化を評価する新ベンチマークAGNOSTOSを提案し、文脈内デモンストレーションで未見タスクの行動を予測するX-ICM手法を導入した。
原題: Exploring the Limits of Vision-Language-Action Manipulations in Cross-task Generalization / Jiaming Zhou, Ke Ye, Jiayi Liu 他
日本語で読む → - 論文VLAロボティクス
ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教える
言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。
原題: ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations / Jiahui Zhang, Yusen Luo, Abrar Anwar 他
日本語で読む → - 論文VLAロボティクス
ManiTaskGen: 視覚言語エージェントの身体的意思決定を評価・改善するための包括的タスク生成器
任意のシーンに対して多様で実行可能な移動操作タスクを自動生成するシステムを提案し、シミュレーションと実環境でその有効性を示すとともに、生成タスクを用いたベンチマーク構築とエージェント性能向上手法を提示した。
原題: ManiTaskGen: A Comprehensive Task Generator for Benchmarking and Improving Vision-Language Agents on Embodied Decision-Making / Liu Dai, Haina Wang, Weikang Wan 他
日本語で読む → - 論文VLAロボティクス
物理推論と力におけるデュアルユースのジレンマについて
VLMがロボットの力強い動作を生成する際の安全対策が、有益な接触操作も抑制してしまうことを事例研究で示し、価値整合とロボット能力のトレードオフを議論した。
原題: On the Dual-Use Dilemma in Physical Reasoning and Force / William Xie, Enora Rice, Nikolaus Correll
日本語で読む → - 論文VLAロボティクス
FLARE: 暗黙的世界モデリングによるロボット学習
将来の観測の潜在表現を予測する世界モデリングを拡散トランスフォーマーポリシーに組み込み、模倣学習の性能と汎化を大幅に向上させた手法。
原題: FLARE: Robot Learning with Implicit World Modeling / Ruijie Zheng, Jing Wang, Scott Reed 他
日本語で読む → - 論文VLAロボティクス
拡散ポリシーに对称性を組み込むための実践的ガイド
拡散ポリシーに完全な同変設計を必要とせず、不変表現や同変視覚エンコーダ、フレーム平均化などの実践的手法で対称性の利点を組み込む方法を検討し、その有効性を実験的に示した。
原題: A Practical Guide for Incorporating Symmetry in Diffusion Policy / Dian Wang, Boce Hu, Shuran Song 他
日本語で読む → - 論文VLAロボティクス
LLMによるマルチエージェントシステムでロボット自律性を実現
LLMを活用したマルチエージェントフレームワークを提案し、ロボットのタスク分析・設計・経路生成を統合。GPTとDeepSeekで評価し、実現可能なロボット設計と制御戦略を生成できることを示した。
原題: Multi-Agent Systems for Robotic Autonomy with LLMs / Junhong Chen, Ziqi Yang, Haoyuan G Xu 他
日本語で読む →
PR・アフィリエイト広告
