論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
視覚ロボット計画のための自己改善ループ
ロボットタスクを解くための視覚計画モデルを、自己生成した軌跡で反復的に改善するSILVRを提案し、未見タスクでも性能が向上することを示した。
原題: Self-Improving Loops for Visual Robotic Planning / Calvin Luo, Zilai Zeng, Mingxi Jia 他
日本語で読む → - 論文VLAロボティクス
RLRC: 強化学習による圧縮VLAモデルの性能回復
VLAモデルを構造的プルーニング・強化学習による性能回復・量子化の3段階で圧縮し、メモリを最大8分の1、推論を2.3倍高速化しつつ成功率を維持した。
原題: RLRC: Reinforcement Learning-based Recovery for Compressed Vision-Language-Action Models / Yuxuan Chen, Yixin Han, Yize Huang 他
日本語で読む → - 論文VLAロボティクス
ROSA: ロボット状態を活用した視覚言語と行動のアライメント
ロボットの状態推定データを自動取得してVLAモデルの訓練に組み込み、視覚言語空間と行動空間のずれを埋めることで、少ないデータでも高性能・高汎化を実現する手法を提案。
原題: ROSA: Harnessing Robot States for Vision-Language and Action Alignment / Yuqing Wen, Kefan Gu, Haoxuan Liu 他
日本語で読む → - 論文VLAロボティクス
ControlVLA: 事前学習済み視覚言語行動モデルのための少数ショット物体中心適応
ControlNet風のアーキテクチャで物体中心表現を導入し、10〜20回のデモンストレーションだけで多様な実世界操作タスクに適応できるフレームワークを提案。
原題: ControlVLA: Few-shot Object-centric Adaptation for Pre-trained Vision-Language-Action Models / Puhao Li, Yingying Wu, Ziheng Xi 他
日本語で読む → - 論文VLAロボティクス
WorldVLA:自己回帰型行動世界モデルへの挑戦
視覚・言語・行動モデルと世界モデルを統合し、行動と画像の相互生成を通じて行動生成と将来画像予測を同時に改善する自己回帰型フレームワークを提案。
原題: WorldVLA: Towards Autoregressive Action World Model / Jun Cen, Chaohui Yu, Hangjie Yuan 他
日本語で読む → - 論文VLAロボティクス
WoMAP: 実世界モデルによる身体性を伴うオープン語彙物体位置推定
ガウススプラッティングによる実→シミュ→実パイプラインと潜在世界モデルを組み合わせ、実演データなしでオープン語彙物体位置推定ポリシーを学習する手法を提案。
原題: WoMAP: World Models For Embodied Open-Vocabulary Object Localization / Tenny Yin, Zhiting Mei, Tao Sun 他
日本語で読む → - 論文VLAロボティクス
CapsDT: カプセルロボット操作のための拡散トランスフォーマー
胃内で動作するカプセル内視鏡ロボットを、視覚と言語指示から拡散トランスフォーマーで制御する手法を提案し、シミュレータで評価した。
原題: CapsDT: Diffusion-Transformer for Capsule Robot Manipulation / Xiting He, Mingwu Su, Xinqi Jiang 他
日本語で読む → - 論文VLA画像認識
EaqVLA: 視覚-言語-行動モデルのための符号化整合量子化
VLAモデルの量子化におけるトークン不整合問題を分析し、符号化整合を考慮した混合精度量子化フレームワークを提案。既存手法より高い量子化性能と加速を実現。
原題: EaqVLA: Encoding-aligned Quantization for Vision-Language-Action Models / Feng Jiang, Zihao Zheng, Xiuping Cui 他
日本語で読む → - 論文VLA機械学習
RLはVLAの汎化に何をもたらすか?実証研究
VLAモデルの汎化性能を評価するベンチマークを構築し、RL微調整(特にPPO)がSFTより意味理解と実行頑健性を大幅に向上させることを示した実証研究。
原題: What Can RL Bring to VLA Generalization? An Empirical Study / Jijia Liu, Feng Gao, Bingwen Wei 他
日本語で読む → - 論文VLA機械学習
GenPO: 拡散生成モデルとオンポリシー強化学習の融合
拡散ポリシーをPPOなどのオンポリシーRLに組み込むため、正確な拡散反転と二重ダミー行動機構で対数尤度計算を可能にした生成ポリシー最適化フレームワークを提案。
原題: GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning / Shutong Ding, Ke Hu, Shan Zhong 他
日本語で読む → - 論文VLA画像認識
手続き生成されたオープンエンド行動環境における視覚・言語・行動モデルのベンチマーク
Procgenの多様な手続き的タスクでVLM/VLAモデルのゼロショット汎化性能を評価するベンチマークMultiNet v0.2を提案し、OODタスクでの限界やアーキテクチャ設計の重要性を明らかにした。
原題: Benchmarking Vision, Language, & Action Models in Procedurally Generated, Open Ended Action Environments / Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury 他
日本語で読む → - 論文VLA画像認識
Dynam3D: 動的階層型3Dトークンによる視覚言語ナビゲーションのためのVLM強化
RGB-D画像からCLIP特徴を3D空間に投影し、動的で階層的な3D表現を構築することで、視覚言語ナビゲーションにおける3D理解と長期記憶を向上させるモデルを提案した。
原題: Dynam3D: Dynamic Layered 3D Tokens Empower VLM for Vision-and-Language Navigation / Zihan Wang, Seungjun Lee, Gim Hee Lee
日本語で読む → - 論文VLAロボティクス
UAV-CodeAgents: マルチエージェントReActと視覚言語推論によるスケーラブルなUAVミッション計画
LLM/VLMを活用したマルチエージェントフレームワークで、衛星画像と自然言語指示からUAVのミッションを自動生成し、火災検知タスクで93%の成功率を達成した。
原題: UAV-CodeAgents: Scalable UAV Mission Planning via Multi-Agent ReAct and Vision-Language Reasoning / Oleg Sautenkov, Yasheerah Yaqoot, Muhammad Ahsan Mustafa 他
日本語で読む → - 論文VLAロボティクス
Aux-Think: データ効率の良い視覚言語ナビゲーションのための推論戦略の探求
視覚言語ナビゲーション(VLN)において推論戦略を体系的に評価し、推論時の推論崩壊問題を明らかにした上で、CoT教師あり学習で推論パターンを内部化しつつ直接行動予測を行うAux-Thinkを提案した。
原題: Aux-Think: Exploring Reasoning Strategies for Data-Efficient Vision-Language Navigation / Shuo Wang, Yongcai Wang, Wanting Li 他
日本語で読む → - 論文VLAロボティクス
Spatial-LLaVA: 空間参照表現を用いた視覚理解のための大規模言語モデル強化
SUN-Spot v2.0データセットを構築し、空間参照表現を学習させたマルチモーダルLLM「Spatial-LLaVA」を提案。ゼロショット空間推論ベンチマークで3.15%の性能向上を達成した。
原題: Spatial-LLaVA: Enhancing Large Language Models with Spatial Referring Expressions for Visual Understanding / Xuefei Sun, Doncey Albin, Cecilia Mauceri 他
日本語で読む → - 論文VLAロボティクス
OpenHelix: ロボットマニピュレーションのためのデュアルシステムVLAモデルの短いサーベイ、実証分析、オープンソース化
既存のデュアルシステムVLAアーキテクチャを整理・比較し、設計要素を実証評価した上で、低コストなオープンソースモデルを提供するプロジェクト。
原題: OpenHelix: A Short Survey, Empirical Analysis, and Open-Source Dual-System VLA Model for Robotic Manipulation / Can Cui, Pengxiang Ding, Wenxuan Song 他
日本語で読む → - 論文VLAロボティクス
CrayonRobo: 物体中心のプロンプト駆動型視覚-言語-行動モデルによるロボットマニピュレーション
RGB画像に手書き風の2D視覚プロンプトを重ね、低レベル動作と高レベル計画を同時に指示する視覚-言語-行動モデルを提案。キーフレームごとに接触姿勢と移動方向をSE(3)空間で予測し、長期タスクを実行する。
原題: CrayonRobo: Object-Centric Prompt-Driven Vision-Language-Action Model for Robotic Manipulation / Xiaoqi Li, Lingyun Xu, Mingxu Zhang 他
日本語で読む → - 論文VLAロボティクス
自己注意機構によるRGB-イベント融合を用いた衝突予測
RGBカメラとイベントカメラの2つの入力を自己注意機構で融合し、ドローンの動的物体との衝突時刻と位置を予測する手法を提案。単一モダリティとの精度・計算コストのトレードオフを評価した。
原題: RGB-Event Fusion with Self-Attention for Collision Prediction / Pietro Bonazzi, Christian Vogt, Michael Jost 他
日本語で読む → - 論文VLAロボティクス
LightEMMA: 自動運転のための軽量エンドツーエンドマルチモーダルモデル
様々な視覚言語モデルを統合して自動運転エージェントを構築し、nuScenes予測タスクで性能を比較評価する軽量フレームワークを提案した。
原題: LightEMMA: Lightweight End-to-End Multimodal Model for Autonomous Driving / Zhijie Qiao, Haowei Li, Zhong Cao 他
日本語で読む → - 論文VLAロボティクス
ピクセルモーションを汎用表現としたロボット制御フレームワークLangToMo
画像拡散モデルでテキストからピクセルモーションを生成し、それを中間表現としてロボット動作に変換する二重システム構成の視覚-言語-行動フレームワークを提案。
原題: Pixel Motion as Universal Representation for Robot Control / Kanchana Ranasinghe, Xiang Li, E-Ro Nguyen 他
日本語で読む → - 論文自動運転/VLAロボティクス
X-Driver: 視覚言語モデルによる説明可能な自動運転
マルチモーダル大規模言語モデルとChain-of-Thought推論を組み合わせ、CARLAシミュレータ上の閉ループ自動運転でSOTA性能と解釈性を両立したフレームワーク。
原題: X-Driver: Explainable Autonomous Driving with Vision-Language Models / Wei Liu, Jiyuan Zhang, Binxiong Zheng 他
日本語で読む → - 論文VLA画像認識
大規模言語モデルは人間の動きをどれほど理解しているか?3Dアバター制御による事例研究
LLMに3Dアバターの動作計画を立てさせ、その高レベル計画と低レベル関節位置の精度を評価した。高レベルな身体動作の解釈は得意だが、正確な部位配置や多自由度の多段動作は苦手だと分かった。
原題: How Much Do Large Language Models Know about Human Motion? A Case Study in 3D Avatar Control / Kunhang Li, Jason Naradowsky, Yansong Feng 他
日本語で読む → - 論文VLAロボティクス
Search-TTA: 実環境での視覚探索のためのマルチモーダルテスト時適応フレームワーク
衛星画像とCLIPを活用した視覚探索において、探索中に不確実性重み付き勾配更新で予測を動的に修正するテスト時適応フレームワークを提案し、大規模生態データセットAVS-Benchで最大30%の性能向上を達成した。
原題: Search-TTA: A Multimodal Test-Time Adaptation Framework for Visual Search in the Wild / Derek Ming Siang Tan, Shailesh, Boyang Liu 他
日本語で読む → - 論文VLAロボティクス
VLAは閉じた世界に留まるが、新規指示への汎化能力を持つ
VLAの内部表現を推論時に操作することで、学習済みタスクのスキルを組み合わせて新規タスクを実行できることを示し、新ベンチマークLIBERO-OODで評価した。
原題: VLAs are Confined yet Capable of Generalizing to Novel Instructions / Quanyi Li
日本語で読む → - 論文VLAロボティクス
言語モデルによるエッジでのカメラ制御とシーン理解
大規模言語モデルを用いてPTZカメラを自然言語で制御するOPUSを提案し、エッジ展開向けに小型化しつつ高性能を実現した。
原題: Camera Control at the Edge with Language Models for Scene Understanding / Alexiy Buynitsky, Sina Ehsani, Bhanu Pallakonda 他
日本語で読む → - 論文VLAロボティクス
EndoVLA: 内視鏡自律追従のための二段階視覚-言語-行動モデル
消化管内視鏡の連続体ロボット向けに、術者の指示に従いポリープや病変部、円周切開マーカーを自律追従する視覚-言語-行動モデルを提案し、教師あり微調整と強化学習微調整の二段階戦略で性能とゼロショット汎化を向上させた。
原題: EndoVLA: Dual-Phase Vision-Language-Action Model for Autonomous Tracking in Endoscopy / Chi Kit Ng, Long Bai, Guankun Wang 他
日本語で読む → - 論文VLAロボティクス
ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教える
言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。
原題: ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations / Jiahui Zhang, Yusen Luo, Abrar Anwar 他
日本語で読む → - 論文VLAロボティクス
MA-ROESL:単一動画からの効率的なロボットスキル学習のための動作認識型高速報酬最適化
単一の動画からロコモーションスキルを学習する際、動作に着目したフレーム選択と3段階の高速報酬最適化により、VLM生成報酬の品質と学習効率を高める手法を提案。
原題: MA-ROESL: Motion-aware Rapid Reward Optimization for Efficient Robot Skill Learning from Single Videos / Xianghui Wang, Xinming Zhang, Yanjun Chen 他
日本語で読む → - 論文VLAHCI
産業オートメーションへのオントロジーと知識拡張大規模言語モデルの適用:インダストリー5.0における人間とロボットの協働を実現するための意思決定ガイダンス
製造業における人間とロボットの協働に向けて、大規模言語モデル・オントロジー・知識グラフをどのように使い分けるべきかの意思決定ガイダンスを提供する論文。
原題: Applying Ontologies and Knowledge Augmented Large Language Models to Industrial Automation: A Decision-Making Guidance for Achieving Human-Robot Collaboration in Industry 5.0 / John Oyekan, Christopher Turner, Michael Bax 他
日本語で読む → - 論文VLAロボティクス
視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さ
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
原題: Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning / Zhengyi Luo, Chen Tessler, Toru Lin 他
日本語で読む →
PR・アフィリエイト広告
