論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/3/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
ManeuverGPT:LLMエージェントによる自動運転車のスタント制御
大規模言語モデルをエージェントとして用い、CARLAシミュレーション内でJターンなどの高難度スタント走行を生成・実行するフレームワークを提案。
原題: ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers / Shawn Azdam, Pranav Doma, Aliasghar Moj Arab
日本語で読む → - 論文VLAロボティクス
モジュール性とスケールでロボティクスの汎化を解き放つ
ロボット制御にモジュール性と大規模学習を組み合わせ、古典的プランナーを教師として汎用エージェントを構築する手法を提案する論文。
原題: Unlocking Generalization for Robotics via Modularity and Scale / Murtaza Dalal
日本語で読む → - 論文VLAロボティクス
ブラックボックス視覚位置認識モデルからのマルチロボット・データフリー継続的コミュニカティブ学習
ロボット間で内部モデルが非公開でも、メンバーシップ推論攻撃を通信手段として活用し、クエリ応答のみで視覚位置認識を継続的に改善するデータフリーなマルチロボット学習フレームワークを提案。
原題: Multi-Robot Data-Free Continual Communicative Learning (CCL) from Black-Box Visual Place Recognition Models / Kenta Tsukahara, Kanji Tanaka, Daiki Iwata 他
日本語で読む → - 論文VLA画像認識
2Dと3Dの視覚言語理解を統合するUniVLG
2Dの事前学習モデルを活用し、2Dと3Dの視覚言語データで学習する統合アーキテクチャUniVLGを提案。3D視覚言語グラウンディングで最先端性能を達成した。
原題: Unifying 2D and 3D Vision-Language Understanding / Ayush Jain, Alexander Swerdlow, Yuzhou Wang 他
日本語で読む → - 論文VLA機械学習
不確実性はただで手に入る:拡散モデルによるヒューマン・イン・ザ・ループ政策
拡散政策の生成過程から不確実性指標を計算し、必要な時だけ人間の支援を要請する手法を提案。訓練時の操作者不要で、微調整用データ収集にも活用できる。
原題: Uncertainty Comes for Free: Human-in-the-Loop Policies with Diffusion Models / Zhanpeng He, Yifeng Cao, Matei Ciocarlie
日本語で読む → - 論文VLA画像認識
見えざるものを見えるものから:基盤モデルによる観察・指示の書き換えで視覚言語ナビゲーションを拡張
視覚言語ナビゲーションのデータ不足を解消するため、基盤モデルで訓練データの観察と指示を書き換えて新たなペアを生成し、未知環境への汎化を促す手法を提案。
原題: Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation / Ziming Wei, Bingqian Lin, Yunshuang Nie 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルが実現する汎用空中知能エージェント
LLM推論とロボット自律性を機体上で統合し、通信が制限された環境でもオープンワールドのタスクを実行できる空中知能エージェントを開発した。
原題: General-Purpose Aerial Intelligent Agents Empowered by Large Language Models / Ji Zhao, Xiao Lin
日本語で読む → - 論文VLA画像認識
IRef-VLA: 不完全な言語指示を用いた3Dシーンにおける対話的参照グラウンディングのベンチマーク
不完全・曖昧な自然言語指示で3D屋内をナビゲートするタスク向けに、11.5Kの3Dスキャン部屋と470万件の参照文を含む大規模ベンチマークデータセットを構築し、既存モデルの性能評価基盤を提供した。
原題: IRef-VLA: A Benchmark for Interactive Referential Grounding with Imperfect Language in 3D Scenes / Haochen Zhang, Nader Zantout, Pujith Kachana 他
日本語で読む → - 論文VLAAI
グラフ接地型LLM:グラフ関数呼び出しによる幻覚の抑制
LLMにグラフライブラリの関数呼び出しを組み合わせることで、グラフ関連タスクにおける幻覚を減らし数学的正確性を高める手法を提案し、災害救助支援への応用も示した。
原題: Graph-Grounded LLMs: Leveraging Graphical Function Calling to Minimize LLM Hallucinations / Piyush Gupta, Sangjae Bae, David Isele
日本語で読む → - 論文VLA画像認識
DriveLMM-o1: 自動運転シナリオ理解のための段階的推論データセットと大規模マルチモーダルモデル
自動運転の知覚・予測・計画を段階的に推論するVQAデータセット(学習18k・テスト4k超)とベンチマークを構築し、そのデータで微調整した大規模マルチモーダルモデルを提案した論文。
原題: DriveLMM-o1: A Step-by-Step Reasoning Dataset and Large Multimodal Model for Driving Scenario Understanding / Ayesha Ishaq, Jean Lahoud, Ketan More 他
日本語で読む → - 論文VLAロボティクス
PD-VLA: 並列デコーディングによるアクションチャンキング統合VLAモデルの高速化
アクションチャンキングを統合したVLAモデルの推論を並列固定点反復で高速化するPD-VLAを提案し、成功率を維持しつつ実行周波数を2.52倍に向上させた。
原題: PD-VLA: Accelerating Vision-Language-Action Model Integrated with Action Chunking via Parallel Decoding / Wenxuan Song, Jiayi Chen, Pengxiang Ding 他
日本語で読む → - 論文VLAロボティクス
SmartWay: ゼロショット視覚言語ナビゲーションのためのウェイポイント予測とバックトラッキングの強化
連続環境での視覚言語ナビゲーションにおいて、改良されたウェイポイント予測器とMLLMベースのナビゲータを組み合わせ、履歴推論とバックトラッキングを可能にしたゼロショットフレームワークを提案。
原題: SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation / Xiangyu Shi, Zerui Li, Wenqi Lyu 他
日本語で読む → - 論文自動運転VLA画像認識
AlphaDrive:強化学習と推論で自動運転におけるVLMの能力を引き出す
自動運転向けにGRPOベースの強化学習報酬と2段階の計画推論訓練を組み合わせたVLMフレームワークを提案し、計画性能と訓練効率を改善した。
原題: AlphaDrive: Unleashing the Power of VLMs in Autonomous Driving via Reinforcement Learning and Reasoning / Bo Jiang, Shaoyu Chen, Qian Zhang 他
日本語で読む → - 論文VLAロボティクス
EmbodiedVSR: 動的シーングラフ誘導による視覚空間タスクの連鎖推論
動的シーングラフとChain-of-Thought推論を組み合わせ、微調整なしで身体性エージェントの空間推論を強化するフレームワークを提案し、新ベンチマークで有効性を示した。
原題: EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks / Yi Zhang, Qiang Zhang, Xiaozhu Ju 他
日本語で読む → - 論文VLAロボティクス
PointVLA: 3D世界をVision-Language-Actionモデルに注入する
事前学習済みVLAモデルを再学習せずに、軽量モジュールで点群入力を注入し3D空間推論能力を付与するフレームワークを提案。
原題: PointVLA: Injecting the 3D World into Vision-Language-Action Models / Chengmeng Li, Junjie Wen, Yan Peng 他
日本語で読む → - 論文VLA自然言語
PRISM: 暗黙的シーン理解による選好洗練を用いた3D視覚言語選好ベース強化学習
3D点群と言語モデルを統合し、Chain-of-Thought推論で将来を考慮した選好を洗練させることで、遮蔽や視点バイアスに強い選好ベース強化学習フレームワークを提案した。
原題: PRISM: Preference Refinement via Implicit Scene Modeling for 3D Vision-Language Preference-Based Reinforcement Learning / Yirong Sun, Yanjun Chen
日本語で読む → - 論文VLAAI
事前学習済み埋め込みを行動仕様記述の仕組みとして用いる手法
知覚モデルを用いるシステムの振る舞いを、理想と観測の埋め込み間の距離で記述する新しい時相論理ETLを提案し、基盤モデル駆動ロボットの計画タスクで有効性を示した。
原題: Pretrained Embeddings as a Behavior Specification Mechanism / Parv Kapoor, Abigail Hammer, Ashish Kapoor 他
日本語で読む → - 論文VLAロボティクス
ヒューマノイド方策~ヒューマン方策
一人称視点の人間の操作データをヒューマノイドロボットの学習に活用するため、人間とロボットの状態行動空間を統合したHuman Action Transformer (HAT)を提案し、汎化性能とロバスト性を向上させた。
原題: Humanoid Policy ~ Human Policy / Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng 他
日本語で読む → - 論文VLAロボティクス
統合動画行動モデル
動画と行動を統合的に学習し、推論時は動画生成を省略して高速に行動を予測できるロボティクス向けモデルを提案。
原題: Unified Video Action Model / Shuang Li, Yihuai Gao, Dorsa Sadigh 他
日本語で読む → - 論文VLA画像認識
AutoDrive-QA:都市自動運転における視覚言語モデル評価のための多肢選択ベンチマーク
都市運転の視覚言語モデル評価用に、既存の自由回答QAデータセットを現実的な誤りカテゴリに基づく多肢選択問題へ変換した初のベンチマークを提案し、再現性と解釈性の高い評価を可能にした。
原題: AutoDrive-QA: A Multiple-Choice Benchmark for Vision-Language Evaluation in Urban Autonomous Driving / Boshra Khalili, Andrew W. Smyth
日本語で読む → - 論文VLAHCI
VRと2Dインターフェースが選好に基づくロボット学習における人間のフィードバックに与える影響
ロボットナビゲーションの選好学習において、VRと2Dインターフェースのどちらで人間のフィードバックを集めるかが、ユーザー体験や選好の一貫性、学習された方策に与える影響を大規模データセットで比較分析した研究。
原題: The Impact of VR and 2D Interfaces on Human Feedback in Preference-Based Robot Learning / Jorge de Heuvel, Daniel Marta, Simon Holk 他
日本語で読む → - 論文VLA画像認識
TASTE-Rob: 汎化可能なロボットマニピュレーションのためのタスク指向ハンド・物体インタラクション動画生成の進展
タスク指向のハンド・物体インタラクション動画を生成するための大規模データセットTASTE-Robを構築し、ビデオ拡散モデルの微調整と3段階のポーズ洗練パイプラインにより、ロボット模倣学習に使える高品質な動画生成を実現した。
原題: TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation / Hongxiang Zhao, Xingchen Liu, Mutian Xu 他
日本語で読む → - 論文VLAロボティクス
Gemini Robotics:AIを物理世界へ
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
原題: Gemini Robotics: Bringing AI into the Physical World / Gemini Robotics Team, Saminda Abeyruwan, Joshua Ainslie 他
日本語で読む → - 論文VLA画像認識
PanoGen++: 視覚と言語によるナビゲーションのためのドメイン適応型テキスト誘導パノラマ環境生成
拡散モデルをドメイン適応微調整してテキストから多様なパノラマ環境を生成し、VLNタスクの訓練データ不足を解消して性能を向上させた。
原題: PanoGen++: Domain-Adapted Text-Guided Panoramic Environment Generation for Vision-and-Language Navigation / Sen Wang, Dongliang Zhou, Liang Xie 他
日本語で読む → - 論文VLAロボティクス
Dita: 汎用視覚言語行動ポリシーのための拡散Transformerのスケーリング
Transformerで連続行動列を直接ノイズ除去するマルチモーダル拡散フレームワークを提案し、多様なロボットデータを統合して長期的タスクや実環境適応を実現した。
原題: Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy / Zhi Hou, Tianyi Zhang, Yuwen Xiong 他
日本語で読む → - 論文VLA画像認識
ロボット学習のための事前学習済み視覚モデルのデータ中心再検討
ロボット学習用の視覚モデルにおいて、非物体中心データでも物体中心表現を獲得できるSlotMIMを提案し、認識・シーン理解・ロボットタスクで性能を向上させた。
原題: A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning / Xin Wen, Bingchen Zhao, Yilun Chen 他
日本語で読む → - 論文VLAロボティクス
DexGraspVLA:汎用器用把持に向けた視覚-言語-行動フレームワーク
事前学習済み視覚言語モデルを高レベル計画に、拡散ベースの行動制御器を低レベルに用いた階層型フレームワークで、多様な未見の乱雑シーンでも90%以上の器用把持を実現した。
原題: DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping / Yifan Zhong, Xuchuan Huang, Ruochong Li 他
日本語で読む → - 論文VLA画像認識
Magma: マルチモーダルAIエージェントのための基盤モデル
画像・動画・ロボットデータを統合的に学習し、UI操作からロボットマニピュレーションまでこなすマルチモーダル基盤モデルを提案。
原題: Magma: A Foundation Model for Multimodal AI Agents / Jianwei Yang, Reuben Tan, Qianhui Wu 他
日本語で読む → - 論文VLA画像認識
V2V-LLM: マルチモーダル大規模言語モデルによる車車間協調自動運転
車車間通信で複数車両の知覚情報をマルチモーダルLLMで統合し、物体特定や計画などの運転タスクに答えるV2V-QAデータセットとベースライン手法を提案した論文。
原題: V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models / Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang 他
日本語で読む → - 論文VLAロボティクス
SoFar: 言語に基づく物体の向きが空間推論と物体操作を橋渡しする
自然言語で物体の向きを定義する「意味的向き」を導入し、大規模データセットとゼロショット予測モデルを構築して、6自由度の空間推論とロボット動作生成を可能にした。
原題: SoFar: Language-Grounded Orientation Bridges Spatial Reasoning and Object Manipulation / Zekun Qi, Wenyao Zhang, Yufei Ding 他
日本語で読む →
PR・アフィリエイト広告
