論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
手頃なフィジカルAIに向けて:実世界ロボット制御のためのVLAモデルのLoRAファインチューニング
LoRAと量子化を用いて30億パラメータ級のVLAモデルを8GB VRAMの民生GPUで動かせるようにファインチューニングし、低コストなSO101ロボットアームでのボタン押しタスクに実装した研究。
原題: Towards Accessible Physical AI: LoRA-Based Fine-Tuning of VLA Models for Real-World Robot Control / Abdullah Yahya Abdullah Omaisan, Ibrahim Sheikh Mohamed
日本語で読む → - 論文VLA画像認識
VAT: ViTの全表現を活用する視覚行動トランスフォーマー
ViTの全層の特徴を行動生成に融合させるVATを提案し、LIBEROベンチマークで98.15%の成功率を達成した模倣学習モデル。
原題: VAT: Vision Action Transformer by Unlocking Full Representation of ViT / Wenhao Li, Chengwei Ma, Weixin Mao
日本語で読む → - 論文VLA機械学習
いつ尋ねるべきかを学ぶ:シミュレーション訓練されたヒューマノイドによるメンタルヘルス診断
うつ病・PTSDスクリーニング対話エージェントを、MetaHuman患者とのシミュレーションで訓練し、TD3がPPOやCEMより安定したペースで高い診断カバレッジを達成した。
原題: Learning When to Ask: Simulation-Trained Humanoids for Mental-Health Diagnosis / Filippo Cenacchi, Deborah Richards, Longbing Cao
日本語で読む → - 論文VLAロボティクス
RoboMirror: 模倣の前に理解する、動画からヒューマノイド歩行への変換
VLMを用いて動画から視覚的な運動意図を抽出し、拡散ポリシーを条件付けることで、ポーズ再構成やリターゲティングなしにヒューマノイドの歩行を生成するフレームワークを提案。
原題: RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion / Zhe Li, Cheng Chi, Boan Zhu 他
日本語で読む → - 論文VLA画像認識
DarkQA: 低照度屋内環境における視覚的プリミティブ質問応答のための視覚言語モデルベンチマーク
低照度環境での視覚言語モデルの性能を評価するため、物理的に忠実な劣化を再現した9.4Kの質問応答ペアからなるベンチマークDarkQAを提案し、既存モデルの性能低下とLLIE前処理の不安定さを明らかにした。
原題: DarkQA: Benchmarking Vision-Language Models on Visual-Primitive Question Answering in Low-Light Indoor Scenes / Yohan Park, Hyunwoo Ha, Wonjun Jo 他
日本語で読む → - 論文VLAロボティクス
HiF-VLA: 運動表現による視覚-言語-行動モデルのための後知恵・洞察・先見
ロボット操作のためのVLAモデルに、過去・現在・未来の運動情報を統合する世界モデルを組み込み、長期的なタスクの一貫性を向上させた研究。
原題: HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models / Minghui Lin, Pengxiang Ding, Shu Wang 他
日本語で読む → - 論文VLAロボティクス
OXE-AugE: 異なるロボット形態間のポリシー学習を拡張するための大規模ロボットデータ拡張
Open X-Embodimentデータセットに9種類のロボット形態を追加し、440万軌道以上に拡張するパイプラインを構築。多様なアームとグリッパーでの学習が未知のロボットへの汎化性能を高めることを示した。
原題: OXE-AugE: A Large-Scale Robot Augmentation of OXE for Scaling Cross-Embodiment Policy Learning / Guanhua Ji, Harsha Polavaram, Lawrence Yunliang Chen 他
日本語で読む → - 論文VLA画像認識
PosA-VLA: 姿勢条件付きアンカー注意による行動生成の強化
VLAモデルの視覚注意を姿勢情報で誘導し、タスクに関連する領域に集中させることで、冗長な動きを抑え精密で効率的な行動生成を実現した研究。
原題: PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention / Ziwen Li, Xin Wang, Hanlue Zhang 他
日本語で読む → - 論文VLAロボティクス
GR-Dexter 技術報告書
両手デクスタラスハンドロボットで言語条件付き長期操作を実現するVLAフレームワークを提案し、ハードウェア・データ収集・学習手法を統合した。
原題: GR-Dexter Technical Report / Ruoshi Wen, Guangzeng Chen, Zhongren Cui 他
日本語で読む → - 論文VLAロボティクス
CLASH: 連続的視覚言語ナビゲーションのための大規模・小規模協調階層フレームワーク
視覚言語ナビゲーションにおいて、小規模モデルと大規模モデルを不確実性に基づき協調させ、シミュレーションと実環境で最先端性能を達成した。
原題: CLASH: Collaborative Large-Small Hierarchical Framework for Continuous Vision-and-Language Navigation / Liuyi Wang, Zongtao He, Jinlong Li 他
日本語で読む → - 論文VLAロボティクス
IndoorUAV: 屋内連続環境における視覚言語UAVナビゲーションのベンチマーク
屋内ドローン向けの視覚言語ナビゲーション(VLN)ベンチマークとデータセット、およびタスク分解とマルチモーダル推論を用いたナビゲーションモデルを提案した論文。
原題: IndoorUAV: Benchmarking Vision-Language UAV Navigation in Continuous Indoor Environments / Xu Liu, Yu Liu, Hanshuo Qiu 他
日本語で読む → - 論文VLAロボティクス
HiMoE-VLA:汎用視覚言語行動ポリシーのための階層的Mixture-of-Experts
異なるロボットの実演データを混ぜて学習する際の負の転移を防ぐため、行動空間ごとに特化する階層的MoE行動モジュールを提案し、CALVINやLIBERO、実機タスクで高い性能を達成した。
原題: HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies / Zhiying Du, Bei Liu, Yaobo Liang 他
日本語で読む → - 論文VLAロボティクス
EVOLVE-VLA: 環境フィードバックによるテスト時訓練で視覚言語行動モデルを適応させる
テスト時に環境との相互作用から学習し、ノイズの多い進捗推定を平滑化して方策を進化的に改善するVLA向けテスト時訓練フレームワークを提案。
原題: EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models / Zechen Bai, Chen Gao, Mike Zheng Shou
日本語で読む → - 論文VLAロボティクス
UAVとの対話:大規模言語モデルに基づく人とUAVのインタラクション
ユーザとUAVの自然言語による対話を実現するため、タスク計画エージェントと実行エージェントの二重LLMエージェント構成を提案し、4つの応用シナリオで性能を評価した。
原題: Chat with UAV -- Human-UAV Interaction Based on Large Language Models / Haoran Wang, Zhuohang Chen, Guang Li 他
日本語で読む → - 論文VLAロボティクス
VISTAv2: 屋内視覚言語ナビゲーションのための世界想像モデル
過去の観測・行動候補・指示から未来の視点を生成し、オンライン価値マップとして計画に融合する世界モデルを提案。MP3DとRoboTHORで性能向上を実証。
原題: VISTAv2: World Imagination for Indoor Vision-and-Language Navigation / Yanjia Huang, Xianshun Jiang, Xiangbo Gao 他
日本語で読む → - 論文VLAAI
行動なし動画からスキルを学ぶ
オプティカルフローを中間表現として用い、行動なし動画から潜在スキルを抽出し、ロボットの長期タスク計画と行動生成を可能にするフレームワークSOFを提案。
原題: Learning Skills from Action-Free Videos / Hung-Chieh Fang, Kuo-Han Hung, Chu-Rong Chen 他
日本語で読む → - 論文VLA画像認識
SpaceTools: 二重対話型強化学習によるツール拡張空間推論
VLMが複数の視覚ツールを強化学習で協調利用できるよう訓練する二段階フレームワークDIRLを提案し、空間推論ベンチマークで最高性能と実機マニピュレーションを実現した。
原題: SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL / Siyi Chen, Mikaela Angelina Uy, Chan Hee Song 他
日本語で読む → - 論文VLA画像認識
画像生成モデルをロボットマニピュレーションの視覚プランナーとして活用
画像生成モデルをLoRAで軽く微調整し、言語指示や2D軌跡からロボット操作の動画を生成する視覚プランナーとして使えることを示した研究。
原題: Image Generation as a Visual Planner for Robotic Manipulation / Ye Pang
日本語で読む → - 論文VLA画像認識
指し示す場所を意図せよ:視覚的根拠に基づく指示ポリシー
言語指示にバウンディングボックスなどの視覚的手がかりを追加することで、混雑環境や未知物体でも対象を正確に特定できるVLAポリシー「Point-VLA」を提案し、自動データ注釈パイプラインで効率的に学習した。
原題: Point What You Mean: Visually Grounded Instruction Policy / Hang Yu, Juntu Zhao, Yufeng Liu 他
日本語で読む → - 論文VLAロボティクス
VLA-RAIL: VLAモデルとロボットのためのリアルタイム非同期推論リンカー
VLAモデルの推論とロボット制御を非同期化し、軌道平滑化とチャンク融合により動作のジッターや停止を抑えて高速・連続的な動作を実現するフレームワーク。
原題: VLA-RAIL: A Real-Time Asynchronous Inference Linker for VLA Models and Robots / Yongsheng Zhao, Lei Zhao, Baoping Cheng 他
日本語で読む → - 論文VLAロボティクス
反事実的VLA:適応的推論を備えた自己反省型視覚-言語-行動モデル
自動運転VLAモデルが計画した行動を反事実的に推論して修正する自己反省フレームワークを提案し、軌道精度と安全性を向上させた。
原題: Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning / Zhenghao "Mark" Peng, Wenhao Ding, Yurong You 他
日本語で読む → - 論文VLAロボティクス
REALM: ロボットマニピュレーションの汎化性能を評価する実機-シミュレーション検証ベンチマーク
VLAモデルの汎化性能を評価するための高忠実度シミュレーションベンチマークREALMを提案し、実機性能との相関を示すとともに、既存VLAモデルの汎化・ロバスト性が未解決課題であることを明らかにした。
原題: REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation / Martin Sedlacek, Pavlo Yefanov, Georgy Ponimatkin 他
日本語で読む → - 論文VLAAI
タスク特化型視覚言語制御のための弱教師あり潜在モデル
目標状態の教師信号のみから共有潜在空間における行動による状態変化を学習するタスク特化型潜在ダイナミクスモデルを提案し、ドローンの空間的グラウンディングタスクで成功率を58%から71%に改善した。
原題: Weakly-supervised Latent Models for Task-specific Visual-Language Control / Xian Yeow Lee, Lasitha Vidyaratne, Gregory Sin 他
日本語で読む → - 論文VLA画像認識
空間超感覚なしで空間超感覚を解く
動画世界モデルの空間超感覚ベンチマークを批判的に検証し、単純なbag-of-wordsモデルがほぼ完全に解けること、既存の推論手法がショートカットを利用していることを示した。
原題: Solving Spatial Supersensing Without Spatial Supersensing / Vishaal Udandarao, Shyamgopal Karthik, Surabhi S. Nath 他
日本語で読む → - 論文VLAAI
IPR-1: 対話型物理推論器
1000以上の多様なゲームで物理法則と因果関係を学習し、世界モデルの予測とVLMの推論を統合して未知のゲームにもゼロショットで対応するエージェントを提案。
原題: IPR-1: Interactive Physical Reasoner / Mingyu Zhang, Lifeng Zhuo, Tianxi Tan 他
日本語で読む → - 論文VLA機械学習
環境との対話によるLLMエージェントのテスト時適応
LLMエージェントが未知の環境に適応するため、オンライン構文整合と展開時の動力学接地という2つの手法を提案し、関数呼び出しやWebナビゲーションで有効性を示した。
原題: Test-Time Adaptation for LLM Agents via Environment Interaction / Arthur Chen, Zuxin Liu, Jianguo Zhang 他
日本語で読む → - 論文VLA画像認識
ActDistill: 効率的な視覚-言語-行動モデルのための汎用的な行動誘導自己蒸留
既存のVLAモデルの行動予測能力を軽量な生徒モデルに転移させる蒸留フレームワークを提案し、計算量を50%以上削減しつつ同等以上の性能を実現した。
原題: ActDistill: General Action-Guided Self-Derived Distillation for Efficient Vision-Language-Action Models / Wencheng Ye, Tianshi Wang, Lei Zhu 他
日本語で読む → - 論文VLA画像認識
マルチモーダル基盤モデルによる空間知能のスケーリング
800万件の多様な空間データでマルチモーダル基盤モデルを訓練し、空間知能ベンチマークで大幅な性能向上を達成するとともに、データスケーリングや創発的汎化の兆候を分析した。
原題: Scaling Spatial Intelligence with Multimodal Foundation Models / Zhongang Cai, Ruisi Wang, Chenyang Gu 他
日本語で読む → - 論文VLAロボティクス
ファントムの脅威:VLAモデルの物理センサー攻撃に対する堅牢性の探究と強化
VLAモデルに対する物理センサー攻撃を初めて体系的に研究し、カメラとマイクへの8種類の攻撃をシミュレート・実機検証する枠組みを提案。敵対的訓練による防御手法も開発した。
原題: Phantom Menace: Exploring and Enhancing the Robustness of VLA Models Against Physical Sensor Attacks / Xuancun Lu, Jiaxiang Chen, Shilin Xiao 他
日本語で読む → - 論文VLAロボティクス
Evo-1: 意味的整合性を保つ軽量Vision-Language-Actionモデル
ロボットデータでの事前学習なしに、VLMの知覚表現を保ちながら軽量・高性能を実現したVLAモデルを提案。
原題: Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment / Tao Lin, Yilei Zhong, Yuxin Du 他
日本語で読む →
PR・アフィリエイト広告
