論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
InCoRo: フィードバックループを備えたロボット制御のためのインコンテキスト学習
LLMを制御器・シーン理解・ロボットからなる古典的フィードバックループに組み込み、環境変化に適応しながらタスクを実行するシステムを提案し、SCARAとDELTA型産業用ロボットで検証した。
原題: InCoRo: In-Context Learning for Robotics Control with Feedback Loops / Jiaqiang Ye Zhu, Carla Gomez Cano, David Vazquez Bermudez 他
日本語で読む → - 論文VLAロボティクス
3D Diffuser Actor:3Dシーン表現を用いた拡散ポリシー
3Dシーン特徴と言語指示・固有感覚を融合する新しい3DデノイジングTransformerにより、ロボットの3D姿勢軌道を拡散モデルで生成するポリシーを提案し、RLBenchやCALVINでSOTAを達成した。
原題: 3D Diffuser Actor: Policy Diffusion with 3D Scene Representations / Tsung-Wei Ke, Nikolaos Gkanatsios, Katerina Fragkiadaki
日本語で読む → - 論文VLAAI
テキストを超えて:音声的手がかりを活用したロボットナビゲーションタスクにおけるLLMの意思決定改善
音声の韻律的特徴をLLMに統合し、ロボットの社会的ナビゲーションにおける意思決定精度と敵対的攻撃への堅牢性を向上させる手法を提案した。
原題: Beyond Text: Utilizing Vocal Cues to Improve Decision Making in LLMs for Robot Navigation Tasks / Xingpeng Sun, Haoming Meng, Souradip Chakraborty 他
日本語で読む → - 論文VLAロボティクス
LINGO-Space: 言語条件付き空間の漸進的グラウンディング
言語指示が指す空間を確率的に推定し、追加の指示に応じて逐次更新する手法を提案し、卓上操作や四足歩行ロボットのナビゲーションで有効性を示した。
原題: LINGO-Space: Language-Conditioned Incremental Grounding for Space / Dohyun Kim, Nayoung Oh, Deokmin Hwang 他
日本語で読む → - 論文VLAロボティクス
RoboCodeX:ロボット行動合成のためのマルチモーダルコード生成
人間の指示を物体中心の操作単位に分解し、コード生成でロボットの行動を合成するフレームワークを提案。シミュレータと実機で操作・ナビゲーションタスクの最先端性能を達成。
原題: RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis / Yao Mu, Junting Chen, Qinglong Zhang 他
日本語で読む → - 論文VLA画像認識
マルチタスク方策学習における視覚特徴のタスク条件付き適応
事前学習済み大規模視覚モデルにタスク条件付きアダプタを組み込み、単一の方策で多様なタスクに対応できるようにした研究。
原題: Task-conditioned adaptation of visual features in multi-task policy learning / Pierre Marza, Laetitia Matignon, Olivier Simonin 他
日本語で読む → - 論文VLA機械学習
大規模アクションなし動画事前学習による実行可能な離散拡散ポリシーの学習
人間のアクションなし動画で離散拡散モデルを事前学習し、少数のロボット動画で微調整することで、ロボットの行動ポリシーを効率的に学習する手法を提案。
原題: Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training / Haoran He, Chenjia Bai, Ling Pan 他
日本語で読む → - 論文VLAロボティクス
SInViG: 人とロボットの対話のための自己進化型インタラクティブ視覚エージェント
自然言語の曖昧さをマルチターンの視覚と言語の対話で解消する自己進化型ロボットエージェントを提案し、人間との対話実験とFrankaロボットでの操作タスクで有効性を示した。
原題: SInViG: A Self-Evolving Interactive Visual Agent for Human-Robot Interaction / Jie Xu, Hanbo Zhang, Xinghang Li 他
日本語で読む → - 論文VLA機械学習
ヒルベルト表現による基盤ポリシー
ラベルなしオフラインデータから、時間構造を保つ潜在表現を学習し、その空間を方向性のある移動で覆うことで、多様な長期行動を獲得し任意の新規タスクにゼロショット適応できる汎用ポリシーを事前学習する手法を提案。
原題: Foundation Policies with Hilbert Representations / Seohong Park, Tobias Kreiman, Sergey Levine
日本語で読む → - 論文VLAAI
タスク成功だけでは不十分:望ましくないエージェント行動を捉えるための行動批評家としての映像言語モデルの活用検討
目標達成だけでなく、パンの変形を避けるといった望ましくないロボット行動を検出するために、大規模視覚言語モデルを行動批評家として使えるかを検証し、その強みと失敗モードを評価した。
原題: Task Success is not Enough: Investigating the Use of Video-Language Models as Behavior Critics for Catching Undesirable Agent Behaviors / Lin Guan, Yifan Zhou, Denis Liu 他
日本語で読む → - 論文VLAロボティクス
ChatGPTとWhisperはヒューマノイドロボットをより親しみやすくするか?
Whisper音声認識とChatGPTをPepperロボットに統合し、15人のユーザー評価で高い使いやすさと人間らしい対話体験を示した。
原題: Does ChatGPT and Whisper Make Humanoid Robots More Relatable? / Xiaohui Chen, Katherine Luo, Trevor Gee 他
日本語で読む → - 論文VLAロボティクス
基盤モデルを用いたロボティクス:身体性AIに向けたサーベイ
ロボットの自律マニピュレーションを対象に、基盤モデルを活用した研究を高レベル計画と低レベル制御の両面から整理し、データセット・シミュレータ・ベンチマークや今後の課題をまとめたサーベイ。
原題: A Survey on Robotics with Foundation Models: toward Embodied AI / Zhiyuan Xu, Kun Wu, Junjie Wen 他
日本語で読む → - 論文VLAロボティクス
身体性知能を備えた視覚言語ナビゲーション:サーベイ
視覚と言語指示を用いてエージェントが自律移動する視覚言語ナビゲーション(VLN)の研究を、身体性知能の観点から体系的に整理したサーベイ論文。
原題: Vision-Language Navigation with Embodied Intelligence: A Survey / Peng Gao, Peng Wang, Feng Gao 他
日本語で読む → - 論文VLAロボティクス
Conformal Predictionを用いた確率的に正しい言語指示マルチロボットプランニング
大規模言語モデルによるマルチロボット計画にConformal Predictionを組み込み、ユーザー指定の成功率を保証しつつヘルプ要求を最小化する分散プランナS-ATLASを提案した。
原題: Probabilistically Correct Language-based Multi-Robot Planning using Conformal Prediction / Jun Wang, Guocheng He, Yiannis Kantaros
日本語で読む → - 論文VLAロボティクス
異なる身体を持つロボット間の学習限界を探る:操作とナビゲーション
ナビゲーションと操作という異なるタスクのデータを同一の目標条件付きポリシーで共同学習させ、多様な機体間での転移や未知の機体へのゼロショット制御が可能かを検証した。
原題: Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation / Jonathan Yang, Catherine Glossop, Arjun Bhorkar 他
日本語で読む → - 論文VLAロボティクス
BBSEA:身体性エージェントのための脳と身体の同期による自律学習
大規模基盤モデルを「脳」、身体性エージェントを「体」と見なし、両者を同期させて人間の介入なしに未知環境で多様な物理タスクを自律的に学習する手法を提案した。
原題: BBSEA: An Exploration of Brain-Body Synchronization for Embodied Agents / Sizhe Yang, Qian Luo, Anumpam Pani 他
日本語で読む → - 論文VLAロボティクス
選好条件付き言語誘導抽象化
人間の行動変化から潜在的な選好を推測し、言語モデルを用いて状態抽象化を構築するフレームワークを提案。シミュレーション、ユーザー研究、実機ロボットで有効性を実証。
原題: Preference-Conditioned Language-Guided Abstraction / Andi Peng, Andreea Bobu, Belinda Z. Li 他
日本語で読む → - 論文VLAロボティクス
PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出し
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
原題: PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs / Soroush Nasiriany, Fei Xia, Wenhao Yu 他
日本語で読む → - 論文VLA自然言語
強化学習と大規模言語モデルの融合:RL/LLM分類ツリーによるレビュー
強化学習と大規模言語モデルを組み合わせた研究を、相互作用の仕方に基づいてRL4LLM・LLM4RL・RL+LLMの3クラスに分類し、その相乗効果と課題を整理したレビュー論文。
原題: The RL/LLM Taxonomy Tree: Reviewing Synergies Between Reinforcement Learning and Large Language Models / Moschoula Pternea, Prerna Singh, Abir Chakraborty 他
日本語で読む → - 論文VLAAI
対話型エージェント基盤モデル
視覚・言語・行動予測を統合したマルチタスク学習により、ロボティクス・ゲームAI・医療の3領域で動作する汎用エージェント基盤モデルを提案した。
原題: An Interactive Agent Foundation Model / Zane Durante, Bidipta Sarkar, Ran Gong 他
日本語で読む → - 論文VLAロボティクス
基礎モデルを用いた複雑なロボット指示の検証可能な追従
LIMPは、基礎モデルを活用して複雑で開放的な指示を記号的に表現し、事前の意味地図なしに実世界で検証可能に追従する手法を提案する。150の指示で評価し、複雑な時空間指示で79%の成功率を達成した。
原題: Verifiably Following Complex Robot Instructions with Foundation Models / Benedict Quartey, Eric Rosen, Stefanie Tellex 他
日本語で読む → - 論文VLAロボティクス
相互情報量を再考する言語条件付きスキル発見の模倣学習
言語指示とスキルの相互情報量を最大化する模倣学習手法LCSDを提案し、ベクトル量子化で離散スキルを獲得、未知タスクへの汎化と成功率を向上させた。
原題: Rethinking Mutual Information for Language Conditioned Skill Discovery on Imitation Learning / Zhaoxun Ju, Chao Yang, Hongbo Wang 他
日本語で読む → - 論文VLAロボティクス
DecisionNCE: 暗黙的選好学習による身体性マルチモーダル表現
視覚軌跡と言語指示の対応を暗黙的選好として扱い、Bradley-Terryモデルを再パラメータ化することで、タスク進捗と時間的一貫性、言語接地を同時に学習する統合表現学習フレームワークを提案した。
原題: DecisionNCE: Embodied Multimodal Representations via Implicit Preference Learning / Jianxiong Li, Jinliang Zheng, Yinan Zheng 他
日本語で読む → - 論文VLAロボティクス
MOSAIC: 支援・対話型料理のためのモジュール型基盤モデル
複数のロボットが自然言語で人間と対話し、多様な日用品を操作できるよう、基盤モデルと専用モジュールを組み合わせたモジュール型アーキテクチャを提案し、料理支援タスクで評価した。
原題: MOSAIC: Modular Foundation Models for Assistive and Interactive Cooking / Huaxiaoyue Wang, Kushal Kedia, Juntao Ren 他
日本語で読む → - 論文VLA画像認識
MultiPLY: 3D世界におけるマルチセンサリー物体中心の身体性大規模言語モデル
視覚・音・触覚・温度などのマルチセンサリー情報を統合し、3D環境内で能動的に行動しながら物体と対話できる身体性大規模言語モデルを提案。
原題: MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World / Yining Hong, Zishuo Zheng, Peihao Chen 他
日本語で読む → - 論文VLAロボティクス
会話がコマンド:自然言語で実世界の自律ロボットと対話する
LLMと視覚言語モデルを組み合わせ、人間の自然言語による指示をロボットの行動コマンドに変換し、実世界の自律ロボットとの対話的な操作を可能にした。
原題: The Conversation is the Command: Interacting with Real-World Autonomous Robot Through Natural Language / Linus Nwankwo, Elmar Rueckert
日本語で読む → - 論文VLAロボティクス
RePLan: 知覚と言語モデルによるロボットの再計画
視覚言語モデル(VLM)で環境状態を把握し、初期計画が失敗した際にオンラインで再計画するフレームワークを提案。長期的タスクで予期せぬ障害に適応できることを示した。
原題: RePLan: Robotic Replanning with Perception and Language Models / Marta Skreta, Zihan Zhou, Jia Lin Yuan 他
日本語で読む → - 論文VLAロボティクス
河川に沿ったUAVの視覚駆動自律飛行のための強化学習と模倣学習の相乗的統合
河川環境を模したUnityシミュレータ上で、強化学習と模倣学習を相互に強化し合う枠組みを提案し、UAVの視覚ベース航法ポリシーを効率的に学習できることを示した。
原題: Synergistic Reinforcement and Imitation Learning for Vision-driven Autonomous Flight of UAV Along River / Zihan Wang, Jianwen Li, Nina Mahmoudian
日本語で読む → - 論文VLAロボティクス
制御認識型拡張による汎用視覚運動方策の効率的学習
自己教師ありの制御関連領域マスクで拡張を適用し、専門家から生徒方策へ蒸留することで、未知環境でも微調整なしに汎化する視覚運動方策を効率的に学習するフレームワークEAGLEを提案。
原題: Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation / Yinuo Zhao, Kun Wu, Tianjiao Yi 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルを用いた表現豊かなロボット動作の生成
大規模言語モデルを活用し、人間の言語指示からロボットの表現豊かな動作を生成する手法を提案。ユーザー研究とシミュレーションで有効性を示した。
原題: Generative Expressive Robot Behaviors using Large Language Models / Karthik Mahadevan, Jonathan Chien, Noah Brown 他
日本語で読む →
PR・アフィリエイト広告
