論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/4/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAAI
見ることは信じること:基盤モデルを不確実性推定器として用いた信念空間プランニング
VLMを不確実性推定に用いて記号的な信念表現を構築し、部分観測環境で戦略的な情報収集を組み込んだ信念空間プランニングを実現した研究。
原題: Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators / Linfeng Zhao, Willie McClinton, Aidan Curtis 他
日本語で読む → - 論文VLAロボティクス
RA-DP: 学習不要の高頻度ロボット再計画のための高速適応拡散ポリシー
拡散ポリシーに学習不要のガイダンス信号と行動キュー機構を組み込み、未知の動的環境で高頻度に再計画できるフレームワークを提案した。
原題: RA-DP: Rapid Adaptive Diffusion Policy for Training-Free High-frequency Robotics Replanning / Xi Ye, Rui Heng Yang, Jun Jin 他
日本語で読む → - 論文VLAロボティクス
MoLe-VLA: レイヤ混合による動的レイヤスキップ型視覚言語行動モデル
LLMの各層をエキスパートとみなし、ロボットの状態に応じて必要な層だけを動的に活性化する視覚言語行動モデルを提案し、計算コストを抑えつつ操作タスクの性能を維持した。
原題: MoLe-VLA: Dynamic Layer-skipping Vision Language Action Model via Mixture-of-Layers for Efficient Robot Manipulation / Rongyu Zhang, Menghang Dong, Yuan Zhang 他
日本語で読む → - 論文VLAロボティクス
Dita: 汎用視覚言語行動ポリシーのための拡散Transformerのスケーリング
Transformerで連続行動列を直接ノイズ除去するマルチモーダル拡散フレームワークを提案し、多様なロボットデータを統合して長期的タスクや実環境適応を実現した。
原題: Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy / Zhi Hou, Tianyi Zhang, Yuwen Xiong 他
日本語で読む → - 論文VLAロボティクス
AutoSpatial: 効率的な空間推論学習による社会的ロボットナビゲーションのための視覚言語推論
大規模視覚言語モデルの空間理解を、自動ラベリングしたVQAデータと2段階の階層的学習で強化し、社会的ロボットナビゲーションの知覚・予測・推論・行動・説明を改善する手法を提案。
原題: AutoSpatial: Visual-Language Reasoning for Social Robot Navigation through Efficient Spatial Reasoning Learning / Yangzhe Kong, Daeun Song, Jing Liang 他
日本語で読む → - 論文VLAロボティクス
CubeRobot: 視覚言語モデルによるルービックキューブ操作への言語の接地
ルービックキューブを解くために特化した視覚言語モデルCubeRobotを提案し、二重ループVisionCoTとMemory Streamで高・低レベルタスクの計画と実行を統合、低・中レベルで100%、高レベルで80%の精度を達成した。
原題: CubeRobot: Grounding Language in Rubik's Cube Manipulation via Vision-Language Model / Feiyang Wang, Xiaomin Yu, Wangyu Wu
日本語で読む → - 論文VLAロボティクス
曖昧な指示からタスク計画へ:LLMに基づくフィードバック駆動型HRCタスクプランニングフレームワーク
大規模言語モデル(LLM)と人間のフィードバックを組み合わせ、曖昧な高レベル指示から人間とロボットの協調タスク計画を動的に生成・修正するハイブリッドフレームワークを提案した。
原題: From Vague Instructions to Task Plans: A Feedback-Driven HRC Task Planning Framework based on LLMs / Afagh Mehri Shervedani, Matthew R. Walter, Milos Zefran
日本語で読む → - 論文VLAロボティクス
半確率的な安全性保証を備えた視覚ベースニューラルネットワーク制御器の学習
画像入力の高次元性と状態と見え方の未知の関係に対処するため、到達可能性解析と条件付き生成ネットワーク、分布非依存の裾不等式を組み合わせた半確率的検証フレームワークを提案し、安全損失とデータサンプリング、カリキュラム学習で安全な視覚ベース制御器を効率的に学習する。
原題: Learning Vision-Based Neural Network Controllers with Semi-Probabilistic Safety Guarantees / Xinhang Ma, Junlin Wu, Hussein Sibai 他
日本語で読む → - 論文VLAロボティクス
Falcon: 部分ノイズ除去による高速視覚運動ポリシー
拡散ポリシーの推論を高速化するため、過去の行動の部分ノイズ除去結果を再利用する学習不要の手法を提案し、性能を維持しつつ2〜7倍の速度向上を実現した。
原題: Falcon: Fast Visuomotor Policies via Partial Denoising / Haojun Chen, Minghao Liu, Chengdong Ma 他
日本語で読む → - 論文自動運転/VLA画像認識
SimLingo: 言語と行動を整合させた視覚のみの閉ループ自動運転
カメラ映像のみを使う視覚言語モデルで、閉ループ運転・視覚言語理解・言語と行動の整合を同時に実現し、CARLAのBench2Driveで最高性能を達成した研究。
原題: SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment / Katrin Renz, Long Chen, Elahe Arani 他
日本語で読む → - 論文VLA画像認識
NuPlanQA: マルチモーダル大規模言語モデルによるマルチビュー運転シーン理解のための大規模データセットとベンチマーク
運転シーン理解のためのマルチビューVQAデータセットNuPlanQA-1Mと評価ベンチマークNuPlanQA-Evalを構築し、BEV特徴を統合したBEV-LLMを提案した。
原題: NuPlanQA: A Large-Scale Dataset and Benchmark for Multi-View Driving Scene Understanding in Multi-Modal Large Language Models / Sung-Yeon Park, Can Cui, Yunsheng Ma 他
日本語で読む → - 論文VLAcs.MA
SCOOP: 自然言語対話と因果推論による能動的協働・社会的継続学習フレームワーク
対話と質問を通じて因果知識を継続的に獲得し、協調的意思決定を行うエージェントのための社会的継続学習フレームワークを提案。LLM+ReAct型と因果世界モデル型の2アーキテクチャを構築し、発達心理学に着想を得た評価タスクで検証する。
原題: SCOOP: A Framework for Proactive Collaboration and Social Continual Learning through Natural Language Interaction andCausal Reasoning / Dimitri Ognibene, Sabrina Patania, Luca Annese 他
日本語で読む → - 論文VLAロボティクス
MoManipVLA:視覚言語行動モデルを汎用モバイルマニピュレーションへ転移
固定ベース操作用に事前学習されたVLAモデルを活用し、二段階最適化で台車移動とアーム軌道を計画することで、モバイルマニピュレーションをゼロショットで汎化させるフレームワークを提案。
原題: MoManipVLA: Transferring Vision-language-action Models for General Mobile Manipulation / Zhenyu Wu, Yuheng Zhou, Xiuwei Xu 他
日本語で読む → - 論文VLAロボティクス
OTTER: テキスト認識型視覚特徴抽出を備えた視覚-言語-行動モデル
言語指示に意味的に対応する視覚特徴だけを選択的に抽出して行動予測に用いるVLAアーキテクチャを提案し、事前学習済みの視覚言語モデルを凍結したまま高いゼロショット汎化を実現した。
原題: OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction / Huang Huang, Fangchen Liu, Letian Fu 他
日本語で読む → - 論文VLAロボティクス
GRaD-Nav: ガウス放射輝度場と微分可能力学による効率的な視覚ドローン航法の学習
3Dガウススプラッティングと微分可能強化学習を組み合わせ、視覚ベースのドローン航法ポリシーを効率的に学習するフレームワークを提案。シミュレーションから実機へのゼロショット転移と新しい環境への適応を実現した。
原題: GRaD-Nav: Efficiently Learning Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics / Qianzhong Chen, Jiankai Sun, Naixiang Gao 他
日本語で読む → - 論文自動運転/VLAロボティクス
交通規制データベースと視覚言語モデルを活用した規制対応経路計画
RGBカメラと視覚言語モデル、機械可読な交通規制データベースを組み合わせ、自動運転車が法規を守りながら経路を計画・判断できるフレームワークを提案し、シミュレーションと実車で検証した。
原題: Traffic Regulation-aware Path Planning with Regulation Databases and Vision-Language Models / Xu Han, Zhiwen Wu, Xin Xia 他
日本語で読む → - 論文VLAAI
Cosmos-Reason1:物理的常識から身体性推論へ
物理世界を理解し、長い思考連鎖を通じて自然言語で身体的行動決定を生成するマルチモーダル大規模言語モデルCosmos-Reason1を提案し、物理的常識と身体性推論のベンチマークで評価した。
原題: Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning / NVIDIA, :, Alisson Azzolini 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルを用いた無人水上艇のミッション計画
GPT-4などの大規模言語モデルを活用し、人間の高レベル指示を実行可能な計画に変換して、動的な海洋環境にリアルタイムで適応する無人水上艇のミッション計画フレームワークを提案した。
原題: Maritime Mission Planning for Unmanned Surface Vessel using Large Language Model / Muhayy Ud Din, Waseem Akram, Ahsan B Bakht 他
日本語で読む → - 論文VLAロボティクス
VidBot: 野生の2D人間動画から汎化可能な3D行動を学習し、ゼロショットロボットマニピュレーションを実現
インターネット上の一人称RGB動画から3Dハンド軌跡を抽出し、粗から細へのアフォーダンス学習と拡散モデルでロボットのゼロショット操作を可能にするフレームワークを提案。
原題: VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation / Hanzhi Chen, Boyang Sun, Anran Zhang 他
日本語で読む → - 論文VLA画像認識
LIAM: 言語指示・画像・行動・セマンティックマップのためのマルチモーダルTransformer
家庭内サービスロボット向けに、言語指示・画像・行動履歴・セマンティックマップを入力として行動列を予測するエンドツーエンドモデルを提案し、ALFREDベンチマークで有効性を示した。
原題: LIAM: Multimodal Transformer for Language Instructions, Images, Actions and Semantic Maps / Yihao Wang, Raphael Memmesheimer, Sven Behnke
日本語で読む → - 論文VLAロボティクス
事前学習済みLLMをロボット直列生産ラインのリアルタイム制御に活用
GPT-4などの大規模言語モデルを移動ロボットのスケジューリング制御に用いるフレームワークを提案し、従来手法を上回りMARLと同等のスループットを再学習なしで達成できることを示した。
原題: Pretrained LLMs as Real-Time Controllers for Robot Operated Serial Production Line / Muhammad Waseem, Kshitij Bhatta, Chen Li 他
日本語で読む → - 論文VLA画像認識
Robusto-1データセット:ペルーの実世界OOD自動運転VQAにおける人間とVLMの比較
ペルーのドライブレコーダー映像を用いた自動運転VQAデータセットを構築し、人間と視覚言語モデルの応答をRSAで比較して認知的な一致度を調べた。
原題: Robusto-1 Dataset: Comparing Humans and VLMs on real out-of-distribution Autonomous Driving VQA from Peru / Dunant Cusipuma, David Ortega, Victor Flores-Benites 他
日本語で読む → - 論文VLAロボティクス
CLEA: 動的環境におけるタスク実行を強化する閉ループ型身体性エージェント
4つのオープンソースLLMを機能分離して組み合わせ、環境記憶に基づく対話型タスク計画とマルチモーダル実行批評による階層的再計画を備えた閉ループ身体性エージェントを提案し、実環境で成功率と完了率を大幅に改善した。
原題: CLEA: Closed-Loop Embodied Agent for Enhancing Task Execution in Dynamic Environments / Mingcong Lei, Ge Wang, Yiming Zhao 他
日本語で読む → - 論文VLAロボティクス
RaceVLA: 人間らしい挙動を実現するVLAベースのレーシングドローン航法
視覚・言語・行動(VLA)モデルをドローンレース用データセットで微調整し、人間パイロットのような適応的な航法を実現した研究。
原題: RaceVLA: VLA-based Racing Drone Navigation with Human-like Behaviour / Valerii Serpiva, Artem Lykov, Artyom Myshlyaev 他
日本語で読む → - 論文VLA画像認識
FlexVLN: 多様な視覚言語ナビゲーションタスクへの柔軟な適応
視覚言語ナビゲーションにおいて、教師あり学習ベースの指示追従器とLLMプランナーを階層的に統合し、検証機構とマルチモデル統合機構で幻覚を抑え、未知データセットへの汎化性能を大幅に向上させた。
原題: FlexVLN: Flexible Adaptation for Diverse Vision-and-Language Navigation Tasks / Siqi Zhang, Yanyuan Qiao, Qunbo Wang 他
日本語で読む → - 論文VLAロボティクス
RAIDER: ツールを活用する大規模言語モデルエージェントによるロボット行動の問題検出・説明・回復
LLMと実世界のツールを組み合わせ、ロボットの行動問題を動的に検出・説明・回復するエージェントRAIDERを提案し、家庭環境シミュレーションと実機支援タスクで有効性を示した。
原題: RAIDER: Tool-Equipped Large Language Model Agent for Robotic Action Issue Detection, Explanation and Recovery / Silvia Izquierdo-Badiola, Carlos Rizzo, Guillem Alenyà
日本語で読む → - 論文VLA画像認識
COSMO: 選択的記憶の組み合わせによる低コスト視覚言語ナビゲーション
視覚言語ナビゲーション(VLN)において、状態空間モジュールとトランスフォーマーを統合し、選択的状態空間モジュール(RSSとCS3)を導入することで、高性能と低計算コストを両立する新アーキテクチャCOSMOを提案した。
原題: COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation / Siqi Zhang, Yanyuan Qiao, Qunbo Wang 他
日本語で読む → - 論文VLA画像認識
視覚的想像は視覚と言語によるナビゲーションエージェントを改善するか?
指示文に含まれるランドマークの視覚的想像を拡散モデルで生成し、VLNエージェントの追加モダリティとして与えることでナビゲーション性能が向上するかを検証した。
原題: Do Visual Imaginations Improve Vision-and-Language Navigation Agents? / Akhil Perincherry, Jacob Krantz, Stefan Lee
日本語で読む → - 論文VLA画像認識
HybridVLA:拡散と自己回帰を統合した視覚-言語-行動モデル
拡散モデルによる連続的な行動生成と自己回帰による文脈推論を単一の大規模言語モデル内で統合し、両者を協調的に学習・アンサンブルするロボット操作フレームワークを提案。
原題: HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model / Jiaming Liu, Hao Chen, Pengju An 他
日本語で読む → - 論文VLAロボティクス
到達可能性解析による形式保証付き安全なLLM制御ロボット
データ駆動型到達可能性解析を用いて、LLMが制御するロボットの安全性を形式的に保証するフレームワークを提案し、自律ナビゲーションとタスク計画で有効性を示した。
原題: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis / Ahmad Hafez, Alireza Naderi Akhormeh, Amr Hegazy 他
日本語で読む →
PR・アフィリエイト広告
