論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/1/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLAロボティクス
MResT: 視覚言語モデルを用いたマルチ解像度センシングによるリアルタイム制御
異なる空間・時間解像度のセンシングを組み合わせ、視覚言語モデルで言語条件付き多タスク方策を学習し、精密・動的な操作タスクのリアルタイム制御性能を向上させた研究。
原題: MResT: Multi-Resolution Sensing for Real-Time Control with Vision-Language Models / Saumya Saxena, Mohit Sharma, Oliver Kroemer
日本語で読む → - 論文VLAHCI
文脈適応型AIシステムの設計・開発・展開:エンドユーザー導入促進に向けて
ユーザー中心設計からロボットエージェントの安全保証AI開発まで、文脈適応型AIシステムを設計・開発・展開する研究プログラムを提示した。
原題: Design, Development, and Deployment of Context-Adaptive AI Systems for Enhanced End-User Adoption / Christine P Lee
日本語で読む → - 論文VLAロボティクス
AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデル
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
原題: AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents / Michael Ahn, Debidatta Dwibedi, Chelsea Finn 他
日本語で読む → - 論文VLAAI
GATS: 収集・注意・散布による基盤モデル統合
学習済み基盤モデルを凍結したまま組み合わせ、マルチモーダルな大規模ネットワークを構築するモジュールGATSを提案し、ゲーム・ロボティクス・マルチモーダル系で有効性を示した。
原題: GATS: Gather-Attend-Scatter / Konrad Zolna, Serkan Cabi, Yutian Chen 他
日本語で読む → - 論文VLA自然言語
大規模言語モデルによるビヘイビアツリー生成のための学習・開発に関する研究
大規模言語モデルを活用して複雑なタスク向けのビヘイビアツリーを自動生成するフレームワークを提案し、合成データによる学習と多段階検証で生成品質を高めた。
原題: A Study on Training and Developing Large Language Models for Behavior Tree Generation / Fu Li, Xueying Wang, Bin Li 他
日本語で読む → - 論文VLAロボティクス
任意点軌道モデリングによる方策学習
動画から任意の点の将来軌道を予測するモデルを事前学習し、それを制御ガイダンスとして使うことで、少ない行動ラベルデータで視覚運動方策を学習する手法を提案した。
原題: Any-point Trajectory Modeling for Policy Learning / Chuan Wen, Xingyu Lin, John So 他
日本語で読む → - 論文VLAロボティクス
ロボット支援手術の自律性を高める汎用基盤モデル
手術ロボットの自律性向上に向けて、マルチモーダル・マルチタスクの視覚-言語-行動モデルを構築する道筋を論じた展望論文。
原題: General-purpose foundation models for increased autonomy in robot-assisted surgery / Samuel Schmidgall, Ji Woong Kim, Alan Kuntz 他
日本語で読む → - 論文VLAロボティクス
実世界における統合的対話型視覚グラウンディングに向けて
視覚対話とグラウンディングを統一的に定式化したエンドツーエンドシステムTiOを提案し、曖昧な指示を能動的に質問して対象を特定するHRIタスクで最先端性能を達成した。
原題: Towards Unified Interactive Visual Grounding in The Wild / Jie Xu, Hanbo Zhang, Qingyi Si 他
日本語で読む → - 論文VLAcs.SE
LangProp: 大規模言語モデルによるコード最適化フレームワークの自動運転への応用
LLMが生成したコードをデータと指標に基づいて反復的に評価・改善するフレームワークを提案し、自動運転を含む複数タスクで有効性を示した。
原題: LangProp: A code optimization framework using Large Language Models applied to driving / Shu Ishida, Gianluca Corrado, George Fedoseev 他
日本語で読む → - 論文VLAロボティクス
ロボットの物体曖昧性解消のための大規模言語モデル
大規模言語モデル(LLM)を用いて、ロボットがユーザーの求める物体を曖昧さなく特定するための意思決定を支援する手法を提案。少数ショットプロンプトエンジニアリングにより、LLMが適切な質問を生成し、複雑な物体群から正しい物体を選び出せることを示した。
原題: LLMs for Robotic Object Disambiguation / Connie Jiang, Yiqing Xu, David Hsu
日本語で読む → - 論文VLAロボティクス
ロボティクスにおける大規模言語モデル:機会・課題・展望
LLMとマルチモーダルLLMのロボットタスクへの統合を概観し、GPT-4Vを用いた身体性タスク計画フレームワークを提案・評価したサーベイ論文。
原題: Large Language Models for Robotics: Opportunities, Challenges, and Perspectives / Jiaqi Wang, Zihao Wu, Yiwei Li 他
日本語で読む → - 論文VLAロボティクス
LeTO: 微分可能な軌道最適化による制約付き視覚運動ポリシーの学習
ニューラルネットワークに微分可能な軌道最適化層を組み込み、制約を守りつつ滑らかな動作を生成する視覚運動ポリシーを学習する手法を提案し、実機とシミュレーションで有効性を示した。
原題: LeTO: Learning Constrained Visuomotor Policy with Differentiable Trajectory Optimization / Zhengtong Xu, Yu She
日本語で読む → - 論文VLAAI
MapGPT:視覚と言語によるナビゲーションのための地図誘導プロンプティングと適応的経路計画
GPTエージェントにオンラインで生成する言語形式の地図を与え、全体環境を考慮した適応的な経路計画を可能にした手法を提案。ゼロショットの視覚言語ナビゲーションで最高性能を達成した。
原題: MapGPT: Map-Guided Prompting with Adaptive Path Planning for Vision-and-Language Navigation / Jiaqi Chen, Bingqian Lin, Ran Xu 他
日本語で読む → - 論文VLAロボティクス
LLMによるEHDポンプ制御の統合:精密な色合成に向けて
大規模言語モデルを微調整して自然言語の指示をArduinoコードに変換し、EHDポンプを制御して精密な色合成を行う枠組みを提案した研究。
原題: Integration of Large Language Models in Control of EHD Pumps for Precise Color Synthesis / Yanhong Peng, Ceng Zhang, Chenlong Hu 他
日本語で読む → - 論文VLA画像認識
SpatialVLM:視覚言語モデルに空間推論能力を与える
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
原題: SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities / Boyuan Chen, Zhuo Xu, Sean Kirmani 他
日本語で読む → - 論文VLAロボティクス
CognitiveDog:視覚と言語を四足歩行ロボットの行動に変換する大規模マルチモーダルモデルシステム
大規模マルチモーダルモデルを搭載した四足歩行ロボットが、自然言語の指示と環境の手がかりから自律的に物体を操作・運搬し、実行中に言語で状況を説明するシステムを開発した。
原題: CognitiveDog: Large Multimodal Model Based System to Translate Vision and Language into Action of Quadruped Robot / Artem Lykov, Mikhail Litvinov, Mikhail Konenkov 他
日本語で読む → - 論文VLAロボティクス
CLIP特徴量とランダム制御による画像・テキスト指示のマルチタスクロボット制御
視覚言語モデルCLIPで画像と目標テキストの類似度を計算し、ランダム制御で類似度勾配を探索することで、追加学習なしに多様なタスク・ロボットを制御する手法を提案した。
原題: CLIP feature-based randomized control using images and text for multiple tasks and robots / Kazuki Shibata, Hideki Deguchi, Shun Taguchi
日本語で読む → - 論文VLAロボティクス
汎用フローを基盤としたスケーラブルなロボット学習のためのアフォーダンス
大規模な人間のRGBD動画から言語条件付き3Dフローモデルを学習し、その予測を閉ループ方策に用いることで、追加学習なしに18タスクで81%のゼロショット人間→ロボット技能転移を実現した。
原題: General Flow as Foundation Affordance for Scalable Robot Learning / Chengbo Yuan, Chuan Wen, Tong Zhang 他
日本語で読む → - 論文VLAロボティクス
テキストから動作へ:ヒューマノイドロボットAlter3におけるGPT-4の具現化
GPT-4をヒューマノイドロボットAlter3に組み込み、言語指示から自撮りや幽霊の真似などの多様なポーズや動作列をゼロショットで生成できるようにした研究。
原題: From Text to Motion: Grounding GPT-4 in a Humanoid Robot "Alter3" / Takahide Yoshida, Atsushi Masumori, Takashi Ikegami
日本語で読む → - 論文VLAロボティクス
LLM-MARS:マルチエージェントロボットシステムにおける行動ツリー生成とNLP対話のための大規模言語モデル
Falcon 7Bを微調整したLLMで、人間の指示からロボットの行動ツリーを生成し、動作に関する質問に答えるマルチエージェントロボットシステムを構築した。
原題: LLM-MARS: Large Language Model for Behavior Tree Generation and NLP-enhanced Dialogue in Multi-Agent Robot Systems / Artem Lykov, Maria Dronova, Nikolay Naglov 他
日本語で読む → - 論文VLAロボティクス
大規模視覚言語モデルを用いた低コスト低剛性ロボットの日常支援視野制御学習
大規模視覚言語モデルと低コスト・低剛性ロボットアームを組み合わせ、言語指示に従ってロボットが自身の視野を制御する手法を開発した。実機実験でオープンボキャブラリな視野制御の有効性を示した。
原題: Daily Assistive View Control Learning of Low-Cost Low-Rigidity Robot via Large-Scale Vision-Language Model / Kento Kawaharazuka, Naoaki Kanazawa, Yoshiki Obinata 他
日本語で読む → - 論文VLAロボティクス
人間のデモンストレーションはロボットのための汎化可能な知識である
人間のデモ動画を単なる指示ではなく知識源と捉え、LLMで階層的に蒸留してタスクや物体に汎化するロボット計画手法DigKnowを提案。
原題: Human Demonstrations are Generalizable Knowledge for Robots / Te Cui, Tianxing Zhou, Zicai Peng 他
日本語で読む → - 論文VLA画像認識
プロンプタブル・ビヘイビア:人間の選好に基づく多目的報酬のパーソナライズ
多目的強化学習で単一の方策を訓練し、実演・軌道比較への選好フィードバック・言語指示の3手法で人間の選好を推定してロボットの行動をパーソナライズするフレームワークを提案。
原題: Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences / Minyoung Hwang, Luca Weihs, Chanwoo Park 他
日本語で読む → - 論文VLAロボティクス
ロボットのための対話的視覚タスク学習
人間との言語対話を通じて新しい視覚概念とタスクを学習するフレームワークを提案し、概念階層の更新とシーングラフによるタスク表現で未見タスクをワンショットで解決する。
原題: Interactive Visual Task Learning for Robots / Weiwei Gu, Anant Sah, Nakul Gopalan
日本語で読む → - 論文VLA画像認識
EgoPlan-Bench:マルチモーダル大規模言語モデルの人間レベル計画能力を評価するベンチマーク
一人称視点の実世界シナリオでMLLMの計画能力を評価するベンチマークEgoPlan-Benchを提案し、性能向上のための指示チューニングデータセットEgoPlan-ITも公開した。
原題: EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning / Yi Chen, Yuying Ge, Yixiao Ge 他
日本語で読む → - 論文VLAロボティクス
SARA-RT: 自己適応型ロバストアテンションによるロボティクストランスフォーマーのスケーリング
ロボット搭載向けに、事前学習済みまたは微調整済みのトランスフォーマーポリシーを線形アテンションに変換する「アップトレーニング」を提案し、RT-2や点群トランスフォーマーを高速化した。
原題: SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention / Isabel Leal, Krzysztof Choromanski, Deepali Jain 他
日本語で読む → - 論文VLAロボティクス
補助損失で事前学習した表現が身体性エージェントの計画に与える影響の理解
探索軌跡への模倣学習が他の補助損失より下流の計画タスクで優れることを示し、補助損失の簡単な改良で計画能力が向上することを明らかにした。
原題: Understanding Representations Pretrained with Auxiliary Losses for Embodied Agent Planning / Yuxuan Li, Luca Weihs
日本語で読む → - 論文VLAロボティクス
コネクテッド・自動運転車両制御のためのマルチエージェント強化学習:最近の進歩と今後の展望
コネクテッド・自動運転車両(CAV)の制御におけるマルチエージェント強化学習(MARL)の応用を、プラトゥーニング・車線変更・無信号交差点などの制御次元ごとに整理し、シミュレーション基盤や課題、今後の方向性を包括的にレビューした論文。
原題: Multi-Agent Reinforcement Learning for Connected and Automated Vehicles Control: Recent Advancements and Future Prospects / Min Hua, Dong Chen, Xinda Qi 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルの空間推論能力の探究と改善
ChatGPTやLlama 2が3Dロボット軌道データを扱う能力を調べ、プレフィックスベースのプロンプト手法で最大33%の性能向上を達成した。
原題: Exploring and Improving the Spatial Reasoning Abilities of Large Language Models / Manasi Sharma
日本語で読む → - 論文VLAHCI
大規模言語モデルを活用した人間とロボットのチームにおける可変的自律性の実現
GPTを搭載した複数ロボットとのVR環境を構築し、自然言語による対話で可変的自律性を実現する枠組みを提案。ユーザー研究から、言語能力を探求したユーザーほど自然なコミュニケーションの恩恵を受けることを示した。
原題: Exploring Large Language Models to Facilitate Variable Autonomy for Human-Robot Teaming / Younes Lakhnati, Max Pascher, Jens Gerken
日本語で読む →
PR・アフィリエイト広告
