論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
HRP: 人間のアフォーダンスを活用したロボット事前学習
インターネット上の人間動画から手・物体・接触のアフォーダンスを自動抽出し、既存の視覚表現を微調整することで、多様なロボットタスクの性能を向上させる手法を提案。
原題: HRP: Human Affordances for Robotic Pre-Training / Mohan Kumar Srirama, Sudeep Dasari, Shikhar Bahl 他
日本語で読む → - 論文VLA機械学習
拡散拡張エージェント:効率的な探索と転移学習のためのフレームワーク
大規模言語モデル・視覚言語モデル・拡散モデルを組み合わせ、過去の経験を拡散モデルで目標指示に合わせて変換する後知恵経験拡張により、強化学習のサンプル効率と転移学習を改善するフレームワークを提案。
原題: Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning / Norman Di Palo, Leonard Hasenclever, Jan Humplik 他
日本語で読む → - 論文VLA画像認識
NavGPT-2:大規模視覚言語モデルのナビゲーション推論能力を引き出す
凍結した大規模言語モデルに視覚情報を整合させ、ナビゲーション方策ネットワークと組み合わせることで、視覚言語ナビゲーションタスクにおける推論能力と行動予測性能を向上させた研究。
原題: NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models / Gengze Zhou, Yicong Hong, Zun Wang 他
日本語で読む → - 論文VLA画像認識
シーングラフを用いた交通事故事象理解のための視覚言語モデル強化
交通事故の種類を分類するため、映像をシーングラフに変換し、視覚・言語情報と融合するマルチモーダル手法を提案。DoTAベンチマークでシーングラフなしより約5ポイント高い精度を達成した。
原題: Enhancing Vision-Language Models with Scene Graphs for Traffic Accident Understanding / Aaron Lohner, Francesco Compagno, Jonathan Francis 他
日本語で読む → - 論文VLAロボティクス
共有潜在変数によるロボット動作学習とLLMの統合:感覚運動注意と言語ベース回帰
ロボット動作学習モデルとLLMを共有潜在変数で接続し、感覚運動注意点とタスク言語指示からの予測誤差でパラメータを更新することで、位置と言語指示への汎化性能を高める手法を提案。
原題: Sensorimotor Attention and Language-based Regressions in Shared Latent Variables for Integrating Robot Motion Learning and LLM / Kanata Suzuki, Tetsuya Ogata
日本語で読む → - 論文VLAロボティクス
MuTT: ロボットスキルのためのマルチモーダル軌道トランスフォーマー
視覚・軌道・スキルパラメータを統合し、環境に応じたロボットスキルの実行を予測するエンコーダ・デコーダ型トランスフォーマーを提案。モデルベース最適化と組み合わせることで実環境実行なしにスキルパラメータを調整できる。
原題: MuTT: A Multimodal Trajectory Transformer for Robot Skills / Claudius Kienle, Benjamin Alt, Onur Celik 他
日本語で読む → - 論文VLAロボティクス
視覚言語ナビゲーションシステムの表現脆弱性を悪用した悪意ある経路操作
視覚言語ナビゲーション(VLN)モデルの埋め込み表現の脆弱性を突き、画像を人間に気づかれないよう改変することでロボットを攻撃者の意図する経路に誘導する手法を提案し、その検出法も開発した。
原題: Malicious Path Manipulations via Exploitation of Representation Vulnerabilities of Vision-Language Navigation Systems / Chashi Mahiul Islam, Shaeke Salman, Montasir Shams 他
日本語で読む → - 論文VLA機械学習
OmniJARVIS:統合視覚言語行動トークン化によるオープンワールド指示追従エージェント
Minecraftのオープンワールドで、行動軌跡を自己教師あり学習で離散トークン化し、推論・計画・行動を単一のVLAモデルで統合的に実行できるようにした研究。
原題: OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents / Zihao Wang, Shaofei Cai, Zhancun Mu 他
日本語で読む → - 論文VLAロボティクス
状態推定なしでピクセルからアジャイル飛行を実現
強化学習により、カメラ映像から直接制御指令を生成し、状態推定を使わずに時速40kmでゲートを通過するドローンレーシングを実現した。
原題: Demonstrating Agile Flight from Pixels without State Estimation / Ismail Geles, Leonard Bauersfeld, Angel Romero 他
日本語で読む → - 論文VLAロボティクス
LLCoach: マルチロール大規模言語モデルによるロボットサッカープランの生成
複数の役割を持つ大規模言語モデルを活用し、ロボカップ標準プラットフォームリーグ向けのロボットサッカーチームの戦略プランを生成・改善する手法を提案し、人間が作成したコードと対戦させるシミュレーションで有効性を示した。
原題: LLCoach: Generating Robot Soccer Plans using Multi-Role Large Language Models / Michele Brienza, Emanuele Musumeci, Vincenzo Suriani 他
日本語で読む → - 論文VLAロボティクス
アシストロボットのための言語粒度とオンザフライ制御
視覚が使えない状況でも言語のみでアシストロボットを制御できるか検討し、異なる粒度の言語指示への応答とオンザフライ制御の必要性・実現可能性をSawyerとTurtlebotで実験した。
原題: LLM Granularity for On-the-Fly Robot Control / Peng Wang, Mattia Robbiani, Zhihao Guo
日本語で読む → - 論文VLAロボティクス
抽象的な指示に従い複雑な動的タスクを遂行するロボットフレームワーク
LLMと知識ベース、力・視覚フィードバックを統合し、「温かい飲み物を作って」のような抽象指示を解釈して、コーヒー抽出や皿盛り付けなどの長期的タスクを不確実な環境で実行する枠組みを提案。
原題: Enabling robots to follow abstract instructions and complete complex dynamic tasks / Ruaridh Mon-Williams, Gen Li, Ran Long 他
日本語で読む → - 論文VLA画像認識
CLIPよ、お前もか?未見環境における一般的な物体誤りへの対処
ALFREDタスクにおいて、事前学習済みCLIPエンコーダを補助的な物体検出目的で追加モジュールとして用いることで、未見環境でのモデル汎化性能を向上させる手法を提案した。
原題: ET tu, CLIP? Addressing Common Object Errors for Unseen Environments / Ye Won Byun, Cathy Jiao, Shahriar Noroozizadeh 他
日本語で読む → - 論文VLAロボティクス
未知環境における身体性指示追従
マルチモーダル大規模言語モデルを用いた階層的フレームワークにより、未知環境を探索しながら複雑な人間の指示を実行する身体性エージェントを実現した。
原題: Embodied Instruction Following in Unknown Environments / Zhenyu Wu, Ziwei Wang, Xiuwei Xu 他
日本語で読む → - 論文VLAAI
GenRL: 身体性エージェントの汎化のためのマルチモーダル基盤ワールドモデル
視覚言語基盤モデルと生成ワールドモデルを言語注釈なしで結びつけ、視覚や言語プロンプトからタスクを指定して想像空間で方策を学習する枠組みを提案。
原題: GenRL: Multimodal-foundation world models for generalization in embodied agents / Pietro Mazzaglia, Tim Verbelen, Bart Dhoedt 他
日本語で読む → - 論文VLAロボティクス
LLaRA:視覚言語モデルをロボット制御に転用する対話型ポリシー学習
ロボットの行動を視覚と言語の対話として扱い、既存の模倣学習データから自動で対話形式の学習データを生成して視覚言語モデルを微調整し、ロボット制御に転用する手法を提案した。
原題: LLaRA: Supercharging Robot Learning Data for Vision-Language Policy / Xiang Li, Cristina Mata, Jongwoo Park 他
日本語で読む → - 論文VLA機械学習
言語モデルによる強化学習エージェントのメンタルモデリング
大規模言語モデルがエージェントの行動履歴からその意思決定を推論し、メンタルモデルを構築できるかを評価指標を提案して検証した研究。
原題: Mental Modeling of Reinforcement Learning Agents by Language Models / Wenhao Lu, Xufeng Zhao, Josua Spisak 他
日本語で読む → - 論文VLAロボティクス
3D特徴フィールドによる視覚言語ナビゲーションのSim-to-Real転移
単眼カメラしか持たないロボットでも、3D特徴フィールドを用いて全周囲の走行可能領域と意味理解を推定し、高性能な全周囲VLNモデルを実機に転移できる手法を提案した。
原題: Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation / Zihan Wang, Xiangyang Li, Jiahao Yang 他
日本語で読む → - 論文VLAロボティクス
RoboPoint: ロボティクス向け空間アフォーダンス予測の視覚言語モデル
合成データで視覚言語モデルをロボット向けに微調整し、言語指示から画像内のキーポイントアフォーダンスを予測するRoboPointを開発。実世界データ不要でスケーラブルに学習でき、ナビゲーションや操作などのタスクで既存手法を上回る。
原題: RoboPoint: A Vision-Language Model for Spatial Affordance Prediction for Robotics / Wentao Yuan, Jiafei Duan, Valts Blukis 他
日本語で読む → - 論文VLAロボティクス
AToM-Bot: 感情的心の理論で語られない人間のニーズを具現化するロボット
視覚言語モデルと感情的心の理論を組み合わせ、明示的な指示なしに人間の状態を推測して必要なタスクを自発的に生成・実行するロボットフレームワークを提案し、人間による評価で高い満足度を得た。
原題: AToM-Bot: Embodied Fulfillment of Unspoken Human Needs with Affective Theory of Mind / Wei Ding, Fanhong Li, Ziteng Ji 他
日本語で読む → - 論文VLA画像認識
どこにいるか教えて:マルチモーダルLLMによる場所認識
視覚基盤モデルで候補地点を検索し、マルチモーダルLLMが各候補を言語推論で比較して最終決定する、追加学習不要の視覚的場所認識手法を提案。
原題: Tell Me Where You Are: Multimodal LLMs Meet Place Recognition / Zonglin Lyu, Juexiao Zhang, Mingxuan Lu 他
日本語で読む → - 論文VLAAI
言語モデルは環境フィードバックから記号プランナーの行動意味論を推論できる
LLMと記号プランナーを組み合わせ、環境からの実行結果を基に行動の意味論を自動学習するPSALMを提案。7環境で成功率を36.4%から100%に向上させた。
原題: Language Models can Infer Action Semantics for Symbolic Planners from Environment Feedback / Wang Zhu, Ishika Singh, Robin Jia 他
日本語で読む → - 論文VLAロボティクス
LLARVA: 視覚-行動インストラクションチューニングによるロボット学習の強化
構造化プロンプトで多様なロボットタスクを統合するインストラクションチューニング手法と、中間2D表現「ビジュアルトレース」の予測により視覚と行動を整合させ、RLBenchと実機Frankaで高い汎化性能を示した研究。
原題: LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning / Dantong Niu, Yuvan Sharma, Giscard Biamby 他
日本語で読む → - 論文VLAロボティクス
OpenVLA: オープンソースの視覚-言語-行動モデル
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
原題: OpenVLA: An Open-Source Vision-Language-Action Model / Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti 他
日本語で読む → - 論文VLAロボティクス
Dreamitate: 動画生成による実世界視覚運動ポリシー学習
動画拡散モデルを人間の実演で微調整し、新しい場面の画像から生成した実行動画でロボットを直接制御することで、既存の行動クローニングより高い汎化性能を実現した。
原題: Dreamitate: Real-World Visuomotor Policy Learning via Video Generation / Junbang Liang, Ruoshi Liu, Ege Ozguroglu 他
日本語で読む → - 論文VLAロボティクス
ROS-LLM:タスクフィードバックと構造化推論を備えた身体性AIのためのROSフレームワーク
ROSと大規模言語モデルを統合し、非専門家が自然言語でロボットをプログラミングできるフレームワークを提案。行動モードや模倣学習、フィードバックによる反省機能を備え、多様なタスクで有効性を検証した。
原題: ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning / Christopher E. Mower, Yuhui Wan, Hongzhan Yu 他
日本語で読む → - 論文VLAロボティクス
A3VLM: 動作可能な関節構造を理解する視覚言語モデル
物体の関節構造と操作可能性を理解する視覚言語モデルを提案し、ロボットに依存しない表現から簡単な動作プリミティブでロボット動作に変換できることを示した。
原題: A3VLM: Actionable Articulation-Aware Vision Language Model / Siyuan Huang, Haonan Chang, Yuhan Liu 他
日本語で読む → - 論文VLAロボティクス
RoboGolf:反射的マルチモーダル視覚言語モデルによる実世界ミニゴルフの習得
2台のカメラによる知覚と閉ループ行動修正、さらに反射的均衡ループを組み合わせたVLMベースの枠組みで、実世界のミニゴルフをプレイするロボットを実現した。
原題: RoboGolf: Mastering Real-World Minigolf with a Reflective Multi-Modality Vision-Language Model / Hantao Zhou, Tianying Ji, Lukas Sommerhalder 他
日本語で読む → - 論文VLA機械学習
低速基盤モデルで高速ロボットポリシーを訓練
訓練時のみ大規模言語モデルと視覚言語モデルを使い、失敗軌道の視覚分析に基づく報酬合成で軽量なロボット制御ポリシーを学習させる手法を提案。
原題: Training Fast Robot Policies with Slow Foundation Models / Utsav Singh, Pramit Bhattacharyya, Vinay P. Namboodiri 他
日本語で読む → - 論文VLAロボティクス
HumanVLA:視覚言語指示による物理ヒューマノイドの物体再配置
視覚と言語の指示に従って物理ヒューマノイドが物体を再配置するためのVLAモデルを、教師方策の蒸留により構築し、新データセットで有効性を示した。
原題: HumanVLA: Towards Vision-Language Directed Object Rearrangement by Physical Humanoid / Xinyu Xu, Yizheng Zhang, Yong-Lu Li 他
日本語で読む →
PR・アフィリエイト広告
