論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA自然言語
Robo-Instruct: コードLLMの微調整のためのシミュレータ拡張命令アライメント
ロボット制御プログラム生成用の小規模LLMを微調整するため、タスク実行中に動的にシミュレーション環境を生成して物理制約を検証し、命令とプログラムのアライメントを改善する手法を提案。
原題: Robo-Instruct: Simulator-Augmented Instruction Alignment For Finetuning Code LLMs / Zichao Hu, Junyi Jessy Li, Arjun Guha 他
日本語で読む → - 論文VLAロボティクス
LLMから行動へ:階層型ロボット制御における橋渡しとしての潜在コード
LLMと低レベル方策の間を学習可能な潜在コードで橋渡しし、言語の制約を超えてエンドツーエンド微調整を可能にする階層型ロボット制御手法を提案。
原題: From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control / Yide Shentu, Philipp Wu, Aravind Rajeswaran 他
日本語で読む → - 論文VLAロボティクス
エッジ環境でモバイルロボットを制御する大規模言語モデルの実装
クラウド接続不要のエッジ環境で、GPT-4-Turboと量子化LLaMA 2を用いてモバイルロボットを自然言語で制御する手法を比較検討した。
原題: Deployment of Large Language Models to Control Mobile Robots at the Edge / Pascal Sikorski, Leendert Schrader, Kaleb Yu 他
日本語で読む → - 論文VLAロボティクス
自然言語処理・コンピュータビジョン・エッジコンピューティングによるロボットアームの改善
LLMと視覚システムをエッジコンピューティング上で連携させ、自然言語の指示でロボットアームを操作する支援ロボティクスの試作システムを提案した。
原題: Improving Robotic Arms through Natural Language Processing, Computer Vision, and Edge Computing / Pascal Sikorski, Kaleb Yu, Lucy Billadeau 他
日本語で読む → - 論文VLAロボティクス
Geminiを用いたタスクトリーのプロンプティング:方法論と知見
Geminiを活用したプロンプトエンジニアリングにより、非構造化知識をロボットが利用可能な構造化表現に変換する手法を提案し、その知見をまとめた論文。
原題: Prompting Task Trees using Gemini: Methodologies and Insights / Pallavi Tandra
日本語で読む → - 論文VLAロボティクス
VR-GPT: インテリジェントなVRアプリケーションのための視覚言語モデル
Unity上に視覚言語モデルを組み込み、音声対話でVR内のユーザーをタスクへ誘導するシステムを開発し、従来のVR操作より作業時間短縮と快適性向上を示した。
原題: VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications / Mikhail Konenkov, Artem Lykov, Daria Trinitatova 他
日本語で読む → - 論文VLA画像認識
Surgical-LVLM:手術支援のための視覚的質問応答に適応する大規模視覚言語モデル
手術動画の視覚的質問応答と領域特定のため、大規模視覚言語モデルにVP-LoRAとToken-Interactionモジュールを組み込み、複雑な手術シーンでの性能を向上させた。
原題: Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery / Guankun Wang, Long Bai, Wan Jun Nah 他
日本語で読む → - 論文VLAロボティクス
地図ベースのモジュラー手法によるゼロショット身体性質問応答
基盤モデルと地図構築を組み合わせ、未知環境でロボットが自然言語の質問に答えるゼロショットEQA手法を提案し、実環境でも検証した。
原題: Map-based Modular Approach for Zero-shot Embodied Question Answering / Koya Sakamoto, Daichi Azuma, Taiki Miyanishi 他
日本語で読む → - 論文VLAロボティクス
運転世界モデルとしてのマルチモーダルLLMの検証
GPT-4oなどのマルチモーダルLLMが運転シーンをどの程度理解できるかを検証し、単一画像は得意でもフレーム間の一貫した理解や軌道計画は苦手であることを示した研究。
原題: Probing Multimodal LLMs as World Models for Driving / Shiva Sreeram, Tsun-Hsuan Wang, Alaa Maalouf 他
日本語で読む → - 論文VLA画像認識
事前学習済みテキスト画像拡散モデルは制御のための万能な表現学習器である
テキストから画像を生成する拡散モデルの内部表現を制御ポリシー学習に転用し、操作・ナビゲーションタスクで既存手法に匹敵する性能を達成した。
原題: Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control / Gunshi Gupta, Karmesh Yadav, Yarin Gal 他
日本語で読む → - 論文VLAロボティクス
身体性AIのための視覚-言語-行動モデルに関するサーベイ
身体性AI向けの視覚-言語-行動(VLA)モデルについて、構成要素・制御ポリシー・タスクプランナーの3系統に分類し、データセットやベンチマークも含めて初めて体系的にまとめたサーベイ。
原題: A Survey on Vision-Language-Action Models for Embodied AI / Yueen Ma, Zixing Song, Yuzheng Zhuang 他
日本語で読む → - 論文VLAロボティクス
Talk2Radar: 自然言語と4Dミリ波レーダーを結ぶ3D参照表現理解
4Dミリ波レーダーの点群と自然言語を対応付ける初のデータセットTalk2Radarを構築し、3D参照表現理解のための新モデルT-RadarNetを提案した。
原題: Talk2Radar: Bridging Natural Language with 4D mmWave Radar for 3D Referring Expression Comprehension / Runwei Guan, Ruixiao Zhang, Ningwei Ouyang 他
日本語で読む → - 論文VLA画像認識
指示誘導型ビジュアルマスキング
指示に関係ない画像領域をマスクすることで、マルチモーダルモデルが指示に沿った領域に注目できるようにする手法を提案し、VQAやロボット制御で性能を向上させた。
原題: Instruction-Guided Visual Masking / Jinliang Zheng, Jianxiong Li, Sijie Cheng 他
日本語で読む → - 論文VLAロボティクス
Memory-Maze:視覚言語ナビゲーションによる視覚障害者誘導のためのシナリオ駆動ベンチマーク
視覚障害者誘導のため、人間の記憶に基づく不完全な経路指示を理解するVLNモデルのベンチマーク「Memory-Maze」を提案し、既存モデルの課題を明らかにした。
原題: Memory-Maze: Scenario Driven Visual Language Navigation Benchmark for Guiding Blind People / Masaki Kuribayashi, Kohei Uehara, Allan Wang 他
日本語で読む → - 論文VLAロボティクス
Bi-VLA: 視覚-言語-行動モデルによる双腕ロボットの巧みな操作システム
視覚・言語・行動を統合したBi-VLAモデルを提案し、人間の指示からサラダ調理などの双腕家庭タスクを実行、83.4%の成功率を達成した。
原題: Bi-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Dexterous Manipulations / Koffivi Fidèle Gbagbe, Miguel Altamirano Cabrera, Ali Alabbas 他
日本語で読む → - 論文VLAロボティクス
ロボット動作計画のための大規模言語モデルへの曖昧性解消とユーザ選好の統合
自然言語によるナビゲーション指示の曖昧性を分類器とGPT-4で解消し、ユーザの選好を学習して、線形時相論理を用いてロボットの動作計画に変換するフレームワークを提案した。
原題: Integrating Disambiguation and User Preferences into Large Language Models for Robot Motion Planning / Mohammed Abugurain, Shinkyu Park
日本語で読む → - 論文VLA画像認識
視覚言語ナビゲーションのためのオープンセット3D意味インスタンスマップ
基盤モデルを活用し、インスタンスレベルの埋め込みを持つ3D点群マップを構築することで、言語指示に基づくナビゲーションの成功率を向上させ、未知の物体も認識可能にした。
原題: Open-Set 3D Semantic Instance Maps for Vision Language Navigation -- O3D-SIM / Laksh Nanwani, Kumaraditya Gupta, Aditya Mathur 他
日本語で読む → - 論文VLAロボティクス
TinyML搭載ナノドローンにおけるマルチセンサ入力と状態情報の融合
直径約10cmのナノドローン上で、低解像度画像と8x8深度マップ、機体状態を融合する深層学習パイプラインを構築し、人間姿勢推定の精度を向上させた。
原題: Fusing Multi-sensor Input with State Information on TinyML Brains for Autonomous Nano-drones / Luca Crupi, Elia Cereda, Daniele Palossi
日本語で読む → - 論文VLA制御
部分観測連続制御のための基盤モデルとしてのDecision Transformer
部分観測下の連続制御タスクに対し、GPTを初期化に用いてLoRAで微調整したDecision Transformerを適用し、未知タスクへのゼロショット汎化と少ないデモでの専門家超えを実現した。
原題: Decision Transformer as a Foundation Model for Partially Observable Continuous Control / Xiangyuan Zhang, Weichao Mao, Haoran Qiu 他
日本語で読む → - 論文VLAロボティクス
人間の実演から記号的タスク表現を学習する:経験を保存・検索・統合・忘却する記憶機構
非専門家による一回の実演から、ロボットがファジィ記述論理に基づく記憶機構(保存・検索・統合・忘却)を用いてタスクの記号的表現をオンライン学習し、再実行する枠組みを提案した。
原題: Learning Symbolic Task Representation from a Human-Led Demonstration: A Memory to Store, Retrieve, Consolidate, and Forget Experiences / Luca Buoncompagni, Fulvio Mastrogiovanni
日本語で読む → - 論文VLAロボティクス
GPT-4Vを用いた閉ループ型オープンボキャブラリ移動マニピュレーション
GPT-4Vを活用し、未知環境での物体探索と操作を閉ループで行うロボットシステムを提案。実世界の8タスクで成功率を約35%向上させた。
原題: Closed-Loop Open-Vocabulary Mobile Manipulation with GPT-4V / Peiyuan Zhi, Zhiyuan Zhang, Yu Zhao 他
日本語で読む → - 論文VLA画像認識
AIGeN: 敵対的生成による視覚言語ナビゲーションの指示文生成
GANの枠組みでGPT-2とBERTを組み合わせ、視覚言語ナビゲーション用の合成指示文を生成してナビゲーション性能を向上させる手法を提案。
原題: AIGeN: An Adversarial Approach for Instruction Generation in VLN / Niyati Rawal, Roberto Bigazzi, Lorenzo Baraldi 他
日本語で読む → - 論文VLAロボティクス
モバイルプラットフォーム上のロボットアームと視覚基盤モデルの革新的統合
Segment Anythingモデル(SAM)をモバイル台車上のロボットアームと組み合わせ、エンドエフェクタの深度カメラで対象を追跡しながら把持するシステムを構築し、クリックや音声などの指示で動作することを実機とシミュレーションで示した。
原題: Innovative Integration of Visual Foundation Model with a Robotic Arm on a Mobile Platform / Shimian Zhang, Qiuhong Lu
日本語で読む → - 論文VLAロボティクス
LLM-Personalize: 強化学習自己訓練による家事ロボット向けLLMプランナーの個人適応
模倣学習と反復自己訓練を組み合わせて、家庭用ロボットのLLMプランナーを個々のユーザー選好に合わせて最適化するフレームワークを提案し、家事片付けベンチマークで成功率を30%以上向上させた。
原題: LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots / Dongge Han, Trevor McInroe, Adam Jelley 他
日本語で読む → - 論文VLAHCI
境界を越える視覚:人間とロボットの相互作用におけるドメイン特化型大規模視覚モデルの初期設計空間
人間とロボットの相互作用(HRI)にドメイン特化型の大規模視覚モデルを適用するための設計空間を提案し、15名の専門家による評価で有効性を示した。
原題: Vision Beyond Boundaries: An Initial Design Space of Domain-specific Large Vision Models in Human-robot Interaction / Yuchong Zhang, Yong Ma, Danica Kragic
日本語で読む → - 論文VLAロボティクス
視覚言語モデルによる近接センシングのための反射率推定:ロボティクスにおける低次認知への分布意味論の活用
GPT-4やCLIPなどの視覚言語モデルを用いて物体の反射率を推定し、近接センサの距離測定精度を向上させる手法を提案。テキストのみの入力でも画像のみのResNetより高精度であることを示した。
原題: Reflectance Estimation for Proximity Sensing by Vision-Language Models: Utilizing Distributional Semantics for Low-Level Cognition in Robotics / Masashi Osada, Gustavo A. Garcia Ricardez, Yosuke Suzuki 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルを用いた四足歩行ロボットの長期的な移動と操作
大規模言語モデルを活用し、四足歩行ロボットが長期的なタスクを計画・実行するシステムを構築した。強化学習による運動・操作スキルと組み合わせ、道具の作成や人間への助け要請などの複雑な行動を実現した。
原題: Long-horizon Locomotion and Manipulation on a Quadrupedal Robot with Large Language Models / Yutao Ouyang, Jinhan Li, Yunfei Li 他
日本語で読む → - 論文VLA画像認識
ニューラル放射表現を用いた先読み探索による連続視覚言語ナビゲーション
将来環境をRGB画像ではなく階層的ニューラル放射表現で予測し、先読み探索を効率化した視覚言語ナビゲーション手法を提案した論文。
原題: Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation / Zihan Wang, Xiangyang Li, Jiahao Yang 他
日本語で読む → - 論文VLAロボティクス
LLM-BT: 大規模言語モデルとビヘイビアツリーによるロボット適応タスクの実行
ChatGPTでタスク手順を推論し、BERTベースのパーサでビヘイビアツリーに変換、環境変化に応じて動的に拡張することで外乱に頑健なロボット適応タスクを実現する手法を提案。
原題: LLM-BT: Performing Robotic Adaptive Tasks based on Large Language Models and Behavior Trees / Haotian Zhou, Yunhan Lin, Longwu Yan 他
日本語で読む → - 論文VLAAI
ソクラテス式プランナー:自己質問応答によるゼロショット身体性指示追従プランニング
大規模言語モデルに自己質問応答させてサブゴール列を生成し、視覚フィードバックで再計画するゼロショットの身体性指示追従プランナーを提案。ALFREDベンチマークで最先端を上回り、実機ロボットでも検証した。
原題: Socratic Planner: Self-QA-Based Zero-Shot Planning for Embodied Instruction Following / Suyeon Shin, Sujin jeon, Junghyun Kim 他
日本語で読む →
PR・アフィリエイト広告
