論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA機械学習
通信を考慮した強化学習による協調型アダプティブクルーズコントロール
車車間通信を活用して情報を圧縮・循環伝播させる通信考慮型強化学習(CA-RL)を提案し、隊列への車両の参加・離脱に対してスケーラブルで頑健なCACCを実現した。
原題: Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control / Sicong Jiang, Seongjin Choi, Lijun Sun
日本語で読む → - 論文ナビゲーション/VLAロボティクス
Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーション
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
原題: Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs / Hao-Tien Lewis Chiang, Zhuo Xu, Zipeng Fu 他
日本語で読む → - 論文VLAロボティクス
データグラフによる大規模ロボットミッション環境へのLMMの3D推論のスケーリング
大規模3D環境を扱う際のLMMの入力制限を克服するため、データグラフ構造を用いて環境を分割し反復的にクエリする手法を提案。検索救助ミッションでの3Dシーン言語タスクへの応用可能性を示した。
原題: Scaling 3D Reasoning with LMMs to Large Robot Mission Environments Using Datagraphs / W. J. Meijer, A. C. Kemmeren, E. H. J. Riemens 他
日本語で読む → - 論文VLAロボティクス
ロボットもマルチタスクをこなせる:記憶アーキテクチャとLLMを統合したクロスタスク行動生成
人間の認知に着想を得た二層の記憶モデルと2つのLLMを組み合わせ、ロボットが複数タスク間を切り替えながら適応的に行動を生成する手法を提案し、5つのタスクで性能向上を示した。
原題: Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation / Hassan Ali, Philipp Allgeuer, Carlo Mazzola 他
日本語で読む → - 論文VLAロボティクス
WOMD-Reasoning: 運転シーンにおけるインタラクション推論のための大規模データセット
実世界の運転シーンにおける交通ルールに基づくインタラクションを記述・推論する300万件のQ&Aデータセットを構築し、それを用いた運転動作言語モデルMotion-LLaVAを提案した。
原題: WOMD-Reasoning: A Large-Scale Dataset for Interaction Reasoning in Driving / Yiheng Li, Cunxin Fan, Chongjian Ge 他
日本語で読む → - 論文VLAロボティクス
非構造環境における周囲の認識・動作予測・適切な行動決定の学習
動的で非構造な実世界環境でロボットが周囲を理解し、他者の動きを予測して適切に行動するための学習ベース手法をまとめた論文。
原題: Learning to Represent Surroundings, Anticipate Motion and Take Informed Actions in Unstructured Environments / Weiming Zhi
日本語で読む → - 論文VLAロボティクス
自己中心映像からのタスクの位置推定とアフォーダンス予測
自己中心視点の映像デモを用いて、視覚言語モデルに空間的なタスクアフォーダンス(タスクが成立する場所)の理解と、そのタスクの自己中心視点に対する位置推定を拡張する手法を提案した。
原題: Simultaneous Localization and Affordance Prediction of Tasks from Egocentric Video / Zachary Chavis, Hyun Soo Park, Stephen J. Guy
日本語で読む → - 論文VLAロボティクス
最近傍未来キャプショニング:物体配置タスクにおける衝突可能性の記述生成
家庭用サービスロボットが物体を配置する際に起こりうる衝突を予測し、その領域に注目して自然言語で説明する手法を提案。最近傍言語モデルと衝突注意モジュールにより、既存手法を上回る性能を達成した。
原題: Nearest Neighbor Future Captioning: Generating Descriptions for Possible Collisions in Object Placement Tasks / Takumi Komatsu, Motonari Kambara, Shumpei Hatanaka 他
日本語で読む → - 論文VLAロボティクス
基盤モデルを用いたアフォーダンス指向の連続視覚言語ナビゲーション計画
SAMで地面のアフォーダンスを抽出し、LLMが経由点と経路をゼロショットで計画する連続VLN手法AO-Plannerを提案し、R2R-CEとRxR-CEで最高精度を達成した。
原題: Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language Navigation / Jiaqi Chen, Bingqian Lin, Xinmin Liu 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによるロボットの音声コマンド解釈と学習
GPT-4などの大規模言語モデルとデータベースを組み合わせ、ロボットが音声コマンドを解釈し、知識を獲得しながら意思決定できるシステムを開発した。
原題: Interpreting and learning voice commands with a Large Language Model for a robot system / Stanislau Stankevich, Wojciech Dudek
日本語で読む → - 論文VLAロボティクス
スパース拡散方策:ロボット学習のためのスパースで再利用可能かつ柔軟な方策
Transformerベースの拡散方策にMixture of Expertsを組み込み、タスクごとに専門家を選択的に活性化することで、マルチタスク学習や継続学習を効率化する手法を提案した。
原題: Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning / Yixiao Wang, Yifei Zhang, Mingxiao Huo 他
日本語で読む → - 論文VLAロボティクス
R+X: 日常の人間動画からの検索と実行
ラベルなしの一人称視点人間動画から言語指示に応じて関連クリップを検索し、文脈内模倣学習でロボットが即座にスキルを実行できるフレームワーク。
原題: R+X: Retrieval and Execution from Everyday Human Videos / Georgios Papagiannis, Norman Di Palo, Pietro Vitiello 他
日本語で読む → - 論文VLAロボティクス
言語モデルはロボットプランナー:計画をゴール細分化グラフとして再構成する
ソフトウェア工学のゴールモデリング手法をLLMに適用し、タスクをステップ細分化グラフとして生成させることで、ロボット実行プログラムの正確性を向上させた。
原題: Language models are robotic planners: reframing plans as goal refinement graphs / Ateeq Sharfuddin, Travis Breaux
日本語で読む → - 論文VLAロボティクス
ニュートンの法則に立ち返る:微分可能物理による視覚ベースの俊敏飛行の学習
微分可能シミュレーションと単純な質点モデルを組み合わせ、深層学習で視覚ベースの飛行制御方策を学習。群知能的な協調飛行や森林での高速自律航行を、安価な計算機で実現した。
原題: Back to Newton's Laws: Learning Vision-based Agile Flight via Differentiable Physics / Yuang Zhang, Yu Hu, Yunlong Song 他
日本語で読む → - 論文VLA画像認識
Adapt2Reward: 失敗プロンプトによる汎化可能なロボット報酬への動画言語モデル適応
少数タスクのロボット動画データのみで動画言語モデルを汎化可能な言語条件付き報酬関数に転移する手法を提案し、失敗動画の特徴をクラスタリングして失敗プロンプトを導入することで、新環境・新指示への優れた汎化を実現した。
原題: Adapt2Reward: Adapting Video-Language Models to Generalizable Robotic Rewards via Failure Prompts / Yanting Yang, Minghao Chen, Qibo Qiu 他
日本語で読む → - 論文VLAロボティクス
基盤モデルによる指示追従スキルの自律的改善
視覚言語モデルを活用してロボットが自律的に多様なデータを収集・評価し、人間の注釈なしで指示追従ポリシーを改善する手法を提案。未知環境での性能を2倍に向上させた。
原題: Autonomous Improvement of Instruction Following Skills via Foundation Models / Zhiyuan Zhou, Pranav Atreya, Abraham Lee 他
日本語で読む → - 論文VLAロボティクス
ReplanVLM:視覚言語モデルによるロボットタスクの再計画
視覚言語モデル(VLM)を用いたロボットタスク計画において、実行エラーを内部・外部の誤り訂正機構と再計画戦略で修正するフレームワークを提案し、実機とシミュレーションで成功率と頑健性を向上させた。
原題: ReplanVLM: Replanning Robotic Tasks with Visual Language Models / Aoran Mei, Guo-Niu Zhu, Huaxiang Zhang 他
日本語で読む → - 論文VLAロボティクス
身体性を伴う連鎖的思考推論によるロボット制御
視覚言語行動モデルに、計画・サブタスク・動作・物体位置などの推論を段階的に行わせてから行動を予測するECoTを導入し、大規模データセット向けの合成訓練データ生成パイプラインを構築して成功率を向上させた。
原題: Robotic Control via Embodied Chain-of-Thought Reasoning / Michał Zawalski, William Chen, Karl Pertsch 他
日本語で読む → - 論文VLAロボティクス
Llama3を用いた音声指示による自律ナビゲーションの逐次計画
音声コマンドをLlama3で解釈し、逐次的なナビゲーション行動に変換して、学習ベースの制御方策DRL-VOでロボットを自律走行させるシステムを提案した。
原題: Speech-Guided Sequential Planning for Autonomous Navigation using Large Language Model Meta AI 3 (Llama3) / Alkesh K. Srivastava, Philip Dames
日本語で読む → - 論文VLAAI
ワンダフルチーム:視覚LLMによるゼロショット物理タスクプランニング
視覚大規模言語モデル(VLLM)をマルチエージェント構成で用い、未知環境の画像とタスク指示からロボットの行動列をゼロショットで生成する高レベルプランニング手法を提案。実世界の意味的・物理的タスクで既存手法を大きく上回る成功率を示した。
原題: Wonderful Team: Zero-Shot Physical Task Planning with Visual LLMs / Zidan Wang, Rui Shen, Bradly Stadie
日本語で読む → - 論文VLAロボティクス
複雑なタスク-動作依存関係下でのタスク条件付き軌道生成のための動作多様体フロープリミティブ
動作多様体の学習とタスク条件付き分布の学習を分離し、フローマッチングで潜在空間上の条件付き分布を学習することで、言語誘導の軌道生成など複雑なタスク-動作依存関係に対応するフレームワークを提案。
原題: Motion Manifold Flow Primitives for Task-Conditioned Trajectory Generation under Complex Task-Motion Dependencies / Yonghyeon Lee, Byeongho Lee, Seungyeon Kim 他
日本語で読む → - 論文VLA画像認識
強化学習による視覚オドメトリの適応的制御
視覚オドメトリ(VO)を逐次意思決定問題として捉え、強化学習でキーフレーム選択やグリッドサイズを動的に調整することで、人手によるパラメータ調整を不要にし精度と頑健性を向上させた研究。
原題: Reinforcement Learning Meets Visual Odometry / Nico Messikommer, Giovanni Cioffi, Mathias Gehrig 他
日本語で読む → - 論文VLAAI
履歴を考慮した情報融合に基づく計画手法HAPFI
自然言語指示による長期的なタスク遂行のため、エージェントが環境と相互作用しながら収集したマルチモーダルな履歴情報を相互注意融合で活用し、次の行動計画を生成する手法を提案した。
原題: HAPFI: History-Aware Planning based on Fused Information / Sujin Jeon, Suyeon Shin, Byoung-Tak Zhang
日本語で読む → - 論文自動運転/VLAAI
世界をオブジェクト知識にトークン化し、自動運転のロングテール事象に対処する
自動運転のロングテール事象に対処するため、シーンをオブジェクトレベルの知識にトークン化してLLMの推論能力を活用するマルチモーダルLLM「TOKEN」を提案し、軌道誤差と衝突率を大幅に削減した。
原題: Tokenize the World into Object-level Knowledge to Address Long-tail Events in Autonomous Driving / Ran Tian, Boyi Li, Xinshuo Weng 他
日本語で読む → - 論文VLAロボティクス
おしゃべりするロボット:マルチモーダルな人間-ロボット会話と協働の基盤構築
LLMを中心に音声認識・音声生成・物体検出・姿勢推定・ジェスチャ検出を統合し、自然な人間-ロボット会話と協働を実現するモジュール型システムを提案した。
原題: When Robots Get Chatty: Grounding Multimodal Human-Robot Conversation and Collaboration / Philipp Allgeuer, Hassan Ali, Stefan Wermter
日本語で読む → - 論文VLAロボティクス
Theia: ロボット学習のための多様な視覚基盤モデルの蒸留
複数の視覚基盤モデルを蒸留して、多様な視覚知識を符号化したロボット学習用の視覚基盤モデルTheiaを提案し、少ないデータと小さいモデルで従来手法を上回る性能を実証した。
原題: Theia: Distilling Diverse Vision Foundation Models for Robot Learning / Jinghuan Shang, Karl Schmeckpeper, Brandon B. May 他
日本語で読む → - 論文VLAロボティクス
This&That: 言語とジェスチャーで制御するロボット計画のための動画生成
言語とジェスチャーを組み合わせて動画生成モデルを制御し、その予測動画を行動クローニングでロボット動作に変換する計画フレームワークを提案。
原題: This&That: Language-Gesture Controlled Video Generation for Robot Planning / Boyang Wang, Nikhil Sridhar, Chao Feng 他
日本語で読む → - 論文VLAロボティクス
CAV-AHDV-CAV:新しい車間追従構造と強化学習によるCAVの交通振動抑制
2台のCAVに挟まれたHDV列を1つの実体として扱う車間追従フレームワークを提案し、深層強化学習で混合交通の停止・発進振動を抑制する。
原題: CAV-AHDV-CAV: Mitigating Traffic Oscillations for CAVs through a Novel Car-Following Structure and Reinforcement Learning / Xianda Chen, PakHin Tiu, Yihuai Zhang 他
日本語で読む → - 論文VLAAI
自動運転の理論知識と技能に関する大規模言語モデルの評価
自動運転支援にLLMを活用するため、500問以上の運転理論テストでGPT-4やErnie、Qwenなどの性能・コスト・遅延を評価した。
原題: Testing Large Language Models on Driving Theory Knowledge and Skills for Connected Autonomous Vehicles / Zuoyin Tang, Jianhua He, Dashuai Pei 他
日本語で読む → - 論文VLAcs.CY
BadRobot:物理世界における身体性LLMエージェントの脱獄
音声対話を通じて身体性LLMエージェントに危険な物理行動を実行させる攻撃手法BadRobotを提案し、既存フレームワークでの有効性を実証した。
原題: BadRobot: Jailbreaking Embodied LLM Agents in the Physical World / Hangtao Zhang, Chenyu Zhu, Xianlong Wang 他
日本語で読む →
PR・アフィリエイト広告
