論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
オープンエンドなマルチモーダル指示で視覚-言語-行動モデルの可能性を解き放つ
言語だけでなく画像・手書き文字・動画などの多様な指示を入力できるVLAモデルOE-VLAを提案し、従来の言語指示と同等以上の性能と4種類の追加タスクでの有効性を示した。
原題: Unveiling the Potential of Vision-Language-Action Models with Open-Ended Multimodal Instructions / Wei Zhao, Gongsheng Li, Zhefei Gong 他
日本語で読む → - 論文VLAcs.MA
分散型安全シールドを用いた安全かつ効率的な自動運転車の車線変更
マルチエージェント強化学習による車線変更制御に、制御バリア関数とルールベースを組み合わせた分散型ハイブリッド安全シールドを統合し、衝突ゼロと交通効率の両立を実現した。
原題: Safe and Efficient CAV Lane Changing using Decentralised Safety Shields / Bharathkumar Hegde, Melanie Bouroche
日本語で読む → - 論文VLAロボティクス
ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教える
言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。
原題: ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations / Jiahui Zhang, Yusen Luo, Abrar Anwar 他
日本語で読む → - 論文VLAロボティクス
ロボット視覚指示:手描きシンボルによるロボット操作の新パラダイム
手描きの矢印や丸などの2Dシンボルでロボットに3D操作を指示するRoVIを提案し、VLMで解釈して行動に変換するVIEWを実現した。
原題: Robotic Visual Instruction / Yanbang Li, Ziyang Gong, Haoyang Li 他
日本語で読む → - 論文VLAロボティクス
LA-RCS: LLMエージェントに基づくロボット制御システム
LLMエージェントを活用し、ユーザ要求に基づく計画立案・環境観測・実行・適応を自律的に行う二重エージェント型ロボット制御システムを提案し、4種類のシナリオで平均90%の成功率を達成した。
原題: LA-RCS: LLM-Agent-Based Robot Control System / TaekHyun Park, YoungJun Choi, SeungHoon Shin 他
日本語で読む → - 論文VLAロボティクス
DreamGen:動画世界モデルでロボット学習の汎化を解き放つ
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
原題: DreamGen: Unlocking Generalization in Robot Learning through Video World Models / Joel Jang, Seonghyeon Ye, Zongyu Lin 他
日本語で読む → - 論文VLAロボティクス
UAV-Flow Colosseo:言葉に反応して飛ぶUAV模倣学習の実世界ベンチマーク
言語指示に応じて短距離・反応的な飛行を行う「Flying-on-a-Word」タスクを定式化し、実世界データセット・制御フレームワーク・シミュレータを備えた初のベンチマークUAV-Flowを構築した。
原題: UAV-Flow Colosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning / Xiangyu Wang, Donglin Yang, Yue Liao 他
日本語で読む → - 論文VLAロボティクス
ストリーミングフローポリシー:行動軌道をフロー軌道として扱う拡散・フローマッチングポリシーの簡略化
拡散・フローマッチングポリシーを簡略化し、行動軌道をフロー軌道として扱うことで、サンプリング中にリアルタイムで行動をロボットにストリーミング可能にした手法を提案。
原題: Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories / Sunshine Jiang, Xiaolin Fang, Nicholas Roy 他
日本語で読む → - 論文VLAロボティクス
TrackVLA: 実環境における身体性視覚追跡
視覚と言語と行動を統合したVLAモデルで、対象認識と軌道計画を同時に学習し、遮蔽や動きの激しい実環境でも10FPSで頑健に目標を追跡する。
原題: TrackVLA: Embodied Visual Tracking in the Wild / Shaoan Wang, Jiazhao Zhang, Minghan Li 他
日本語で読む → - 論文VLA画像認識
視覚空間認知のための視覚エキスパート階層融合
意味理解と空間構造の二重エンコーダと空間QAデータセットで学習させたMLLM「ViCA2」を提案し、VSI-Benchで最高精度を達成した。
原題: Towards Visuospatial Cognition via Hierarchical Fusion of Visual Experts / Qi Feng
日本語で読む → - 論文VLA画像認識
CoMo: インターネット動画から連続潜在運動を学習するスケーラブルなロボット学習
インターネット動画から連続的な潜在運動表現を教師なしで学習し、未知動画へのゼロショット汎化と擬似行動ラベル生成を可能にする手法CoMoを提案。
原題: CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning / Jiange Yang, Yansong Shi, Haoyi Zhu 他
日本語で読む → - 論文VLAロボティクス
条件付き最適輸送カップリングによる高速フローベース視覚運動ポリシー
ノイズとサンプル間の条件付き最適輸送カップリングを用いてフローODEを直線化し、拡散ポリシーより10倍高速で成功率も4%高い少数ステップのロボット視覚運動ポリシーを実現した。
原題: Fast Flow-based Visuomotor Policies via Conditional Optimal Transport Couplings / Andreas Sochopoulos, Nikolay Malkin, Nikolaos Tsagkas 他
日本語で読む → - 論文VLAロボティクス
OneTwoVLA:適応的推論を備えた統合視覚言語行動モデル
行動と推論を単一モデルで統合し、必要な時だけ明示的に推論する適応的切替機構を導入したVLAモデル。長期的タスク計画やエラー回復、人間との対話、視覚的接地を実現。
原題: OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning / Fanqi Lin, Ruiqian Nai, Yingdong Hu 他
日本語で読む → - 論文VLAロボティクス
ブラックボックス運転支援の監視を支援:車線維持支援の予測アラートに向けた視覚言語モデル
LKAlertは、視覚言語モデルを用いて車線維持支援の失敗を1〜3秒前に予測し、自然言語で説明する監視アラートシステムで、予測・説明可能なLKAlert用ベンチマークも提案した。
原題: Bridging Human Oversight and Black-box Driver Assistance: Vision-Language Models for Predictive Alerting in Lane Keeping Assist Systems / Yuhang Wang, Hao Zhou
日本語で読む → - 論文VLAロボティクス
BadNAVer: 視覚言語ナビゲーションに対するジェイルブレイク攻撃の探索
MLLM駆動の視覚言語ナビゲータに対する初の体系的なジェイルブレイク攻撃を提案し、シミュレータと実機で90%超の攻撃成功率を示した。
原題: BadNAVer: Exploring Jailbreak Attacks On Vision-and-Language Navigation / Wenqi Lyu, Zerui Li, Yanyuan Qiao 他
日本語で読む → - 論文VLAロボティクス
LLM-Land: 大規模言語モデルを活用した文脈認識型ドローン着陸
視覚言語モデルで画像をテキスト化し、軽量LLMとRAGで周囲の状況に応じた安全マージンを推論、MPCと組み合わせて動的障害物を避けながら高精度着陸を実現する枠組みを提案。
原題: LLM-Land: Large Language Models for Context-Aware Drone Landing / Siwei Cai, Yuwei Wu, Lifeng Zhou
日本語で読む → - 論文VLAロボティクス
三重階層拡散方策による視覚運動学習
RGB-D入力・多スケール視覚表現・階層的条件付き拡散を組み合わせ、視覚特徴と行動生成の統合を強化した視覚運動方策を提案。44のシミュレーションタスクで平均27.5%改善し、実機双腕タスクでも高性能を示した。
原題: H$^3$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning / Yiyang Lu, Yufeng Tian, Zhecheng Yuan 他
日本語で読む → - 論文VLAロボティクス
物理推論と座標系ラベリングによる力強いスキル獲得
VLMに軌道ではなく力(レンチ)を出力させ、座標系を画像に重ねることで、事前学習なしに様々なマニピュレーションタスクでゼロショット汎化を実現した。
原題: Unfettered Forceful Skill Acquisition with Physical Reasoning and Coordinate Frame Labeling / William Xie, Max Conway, Yutong Zhang 他
日本語で読む → - 論文VLAロボティクス
EndoVLA: 内視鏡自律追従のための二段階視覚-言語-行動モデル
消化管内視鏡の連続体ロボット向けに、術者の指示に従いポリープや病変部、円周切開マーカーを自律追従する視覚-言語-行動モデルを提案し、教師あり微調整と強化学習微調整の二段階戦略で性能とゼロショット汎化を向上させた。
原題: EndoVLA: Dual-Phase Vision-Language-Action Model for Autonomous Tracking in Endoscopy / Chi Kit Ng, Long Bai, Guankun Wang 他
日本語で読む → - 論文VLAロボティクス
AgentThink:自動運転向け視覚言語モデルにおけるツール拡張型思考連鎖推論の統合フレームワーク
自動運転向けに、思考連鎖推論と動的なツール呼び出しを統合したフレームワークAgentThinkを提案し、DriveLMM-o1ベンチマークで推論スコアを53.91%向上させた。
原題: AgentThink: A Unified Framework for Tool-Augmented Chain-of-Thought Reasoning in Vision-Language Models for Autonomous Driving / Kangan Qian, Sicong Jiang, Yang Zhong 他
日本語で読む → - 論文VLAAI
身体性エージェントに空間推論能力を与える視覚言語ナビゲーション
生物の空間認知理論に基づくBrainNavを提案し、二重マップと二重方位戦略で実世界の視覚言語ナビゲーションにおける空間幻覚を低減した。
原題: Endowing Embodied Agents with Spatial Reasoning Capabilities for Vision-and-Language Navigation / Qianqian Bai, Zhongpu Chen, Ling Luo 他
日本語で読む → - 論文VLAAI
ADAPT: あらゆるタスクの選好を能動的に発見・適応する手法
ユーザーの選好を能動的な質問で引き出しながら家事タスクを遂行するベンチマークADAPTと、そのためのLLM訓練手法Reflection-DPOを提案。
原題: ADAPT: Actively Discovering and Adapting to Preferences for any Task / Maithili Patel, Xavier Puig, Ruta Desai 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる軌道適応
事前学習済みLLMを用いて、人間の指示に応じてロボットの軌道ウェイポイントをコード生成により適応させる、タスク特化型学習不要のフレームワークを提案。
原題: Trajectory Adaptation using Large Language Models / Anurag Maurya, Tashmoy Ghosh, Ravi Prakash
日本語で読む → - 論文VLAロボティクス
音声から軌道へ:ロボット動作のための人間らしい言語指示の学習
音声コマンドを直接動作軌道に変換するDirective Language Model(DLM)を提案し、言い換えへの頑健性と人間らしい動作生成を実現した。
原題: Speech-to-Trajectory: Learning Human-Like Verbal Guidance for Robot Motion / Eran Beeri Bamani, Eden Nissinman, Rotem Atari 他
日本語で読む → - 論文VLAロボティクス
ロボット主導の視覚言語モデルによる子どものウェルビーイング評価
ソーシャルロボットNAOが子どもに絵を見せて語らせ、その内容を視覚言語モデルが評価する手法を試み、心理士の評価と比較した。
原題: Robot-Led Vision Language Model Wellbeing Assessment of Children / Nida Itrat Abbasi, Fethiye Irmak Dogan, Guy Laban 他
日本語で読む → - 論文VLA画像認識
視覚障害者向け大規模視覚言語モデルによる環境認識システム
RGB画像のセグメンテーション結果を外部知識としてLVLMに入力し、幻覚を抑えつつ視覚障害者が周囲環境を理解できるウェアラブルシステムを提案した。
原題: A Large Vision-Language Model based Environment Perception System for Visually Impaired People / Zezhou Chen, Zhaoxiang Liu, Kai Wang 他
日本語で読む → - 論文VLAロボティクス
PRISM-DP: セグメンテーション・メッシュ生成・姿勢追跡による拡散ポリシーのための空間姿勢観測
セグメンテーションとメッシュ生成、姿勢追跡を組み合わせ、手動メッシュ作成なしで物体の空間姿勢を観測として拡散ポリシーを学習する手法を提案。画像ベースより高精度で、真の状態と同等の性能を実現。
原題: PRISM-DP: Spatial Pose-based Observations for Diffusion-Policies via Segmentation, Mesh Generation, and Pose Tracking / Xiatao Sun, Yinxing Chen, Daniel Rakita
日本語で読む → - 論文VLA画像認識
マルチモーダル大規模言語モデルによる一人称視点動画質問応答の高度化
一人称視点動画のQAデータセットQaEgo4Dv2を整備し、4つのMLLMをゼロショットとファインチューニングで評価、オープンソースモデルが新たな最高性能を達成した。
原題: Advancing Egocentric Video Question Answering with Multimodal Large Language Models / Alkesh Patel, Vibhav Chitalia, Yinfei Yang
日本語で読む → - 論文マルチモーダルVLAロボティクス
TransforMerger: 音声とジェスチャーを融合するTransformerベースのロボットコミュニケーション
音声とジェスチャーを統合したマルチモーダル入力から、Transformerでロボット操作の行動コマンドを推論する手法を提案。ノイズや曖昧な指示に強く、実世界実験で有効性を示した。
原題: TransforMerger: Transformer-based Voice-Gesture Fusion for Robust Human-Robot Communication / Petr Vanc, Karla Stepanova
日本語で読む → - 論文VLA画像認識
身体性を活用した画像キャプション生成:空間的に一貫した説明のための自己教師あり学習エージェント
エージェントが環境を探索して画像とキャプションのペアを収集し、大規模言語モデルによるコンセンサスで擬似キャプションを生成、コントラスティブ学習を加えてキャプションモデルを微調整することで、視点によらず一貫した物体説明を可能にする自己教師ありフレームワークを提案。
原題: Embodied Image Captioning: Self-supervised Learning Agents for Spatially Coherent Image Descriptions / Tommaso Galliena, Tommaso Apicella, Stefano Rosa 他
日本語で読む →
PR・アフィリエイト広告
