論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA機械学習
PcLast: 計画可能な連続潜在状態の発見
到達可能な状態をまとめて表現する潜在空間を学習し、目標条件付き計画と方策学習を効率化する手法を提案。
原題: PcLast: Discovering Plannable Continuous Latent States / Anurag Koul, Shivakanth Sujit, Shaoru Chen 他
日本語で読む → - 論文VLAロボティクス
Safe-VLN: 連続環境における視覚言語ナビゲーションのための衝突回避
連続環境での視覚言語ナビゲーション(VLN-CE)において、衝突を回避するためのSafe-VLNを提案。ウェイポイント予測器とナビゲータを組み合わせ、衝突後の再選択戦略でロボットの衝突を防ぐ。
原題: Safe-VLN: Collision Avoidance for Vision-and-Language Navigation of Autonomous Robots Operating in Continuous Environments / Lu Yue, Dongliang Zhou, Liang Xie 他
日本語で読む → - 論文VLA画像認識
GPT-4V(ision)と自動運転:視覚言語モデルの初期探索
自動運転への視覚言語モデルGPT-4Vの応用可能性を評価し、シーン理解や因果推論で優れる一方、方向認識や信号認識に課題があることを示した。
原題: On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving / Licheng Wen, Xuemeng Yang, Daocheng Fu 他
日本語で読む → - 論文VLAロボティクス
RoboGPT:日常指示タスクのための身体性を伴う長期意思決定エージェント
67kの日常指示タスクデータセットでLlamaを微調整したRoboGPTプランナと、サブゴールごとに設計したRoboSkillを組み合わせ、再計画モジュールで環境適応しながら長期タスクを遂行するエージェントを提案。ALFREDでSOTAを上回る。
原題: RoboGPT: an intelligent agent of making embodied long-term decisions for daily instruction tasks / Yaran Chen, Wenbo Cui, Yuanwen Chen 他
日本語で読む → - 論文VLAロボティクス
見えなかったものが見えるようになった:ソーシャルロボットにおける視覚対応対話の実装
大規模言語モデルとリアルタイム視覚入力を組み合わせ、Furhatロボットで視覚対応対話システムを実装し、6件の対話実験を通じてその有効性を検討した。
原題: I Was Blind but Now I See: Implementing Vision-Enabled Dialogue in Social Robots / Giulio Antonio Abbo, Tony Belpaeme
日本語で読む → - 論文VLA画像認識
LCPR: マルチスケール注意機構によるLiDAR-カメラ融合場所認識ネットワーク
LiDAR点群と多視点RGB画像をマルチスケール注意機構で融合し、視点変化に頑健でヨー回転不変な場所認識表現を生成する手法を提案した論文。
原題: LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition / Zijie Zhou, Jingyi Xu, Guangming Xiong 他
日本語で読む → - 論文VLAロボティクス
対話こそが鍵?ロボットの指示理解と実行能力に関する研究
対話履歴からロボットの行動を実行するEDHタスクにマルチトランスフォーマーとBARTを適用し、ベースラインを上回る性能を達成するとともに、個別行動ではなくゲームプランを予測する新タスクを提案した。
原題: Interaction is all You Need? A Study of Robots Ability to Understand and Execute / Kushal Koshti, Nidhir Bhavsar
日本語で読む → - 論文VLAロボティクス
跳ぶ前に見よ:ロボット視覚言語計画におけるGPT-4Vの能力を解き明かす
視覚言語モデルを活用し、知覚情報を直接統合して長期的なロボットタスク計画を生成するViLaを提案。実機・シミュレーションで既存のLLMベース計画手法を上回る性能を示した。
原題: Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning / Yingdong Hu, Fanqi Lin, Tong Zhang 他
日本語で読む → - 論文VLAロボティクス
視覚言語基盤モデルをロボット模倣学習に活用するRoboFlamingo
オープンソースの視覚言語モデルOpenFlamingoを基に、単一ステップの視覚言語理解とポリシーヘッドを分離し、模倣学習で微調整するだけでロボット操作を実現するフレームワークを提案。
原題: Vision-Language Foundation Models as Effective Robot Imitators / Xinghang Li, Minghuan Liu, Hanbo Zhang 他
日本語で読む → - 論文VLA機械学習
視覚言語モデルをゼロショット報酬モデルとして用いる強化学習
事前学習済みの視覚言語モデル(CLIP)を報酬モデルとして使い、自然言語の指示だけでヒューマノイドの複雑な動作を強化学習できることを示した研究。
原題: Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning / Juan Rocamonde, Victoriano Montesinos, Elvis Nava 他
日本語で読む → - 論文VLAロボティクス
言語モデルをゼロショット軌道生成器として使う
GPT-4が物体検出とセグメンテーションだけを頼りに、マニピュレーションタスクのエンドエフェクタ軌道を直接予測できるかを30の実世界タスクで検証した。
原題: Language Models as Zero-Shot Trajectory Generators / Teyun Kwon, Norman Di Palo, Edward Johns
日本語で読む → - 論文VLAロボティクス
Co-NavGPT: 視覚言語モデルを用いたマルチロボット協調視覚意味ナビゲーション
視覚言語モデルをグローバルプランナーとして活用し、複数ロボットのサブマップを統合してフロンティアを割り当てることで、常識推論を伴う協調的な視覚的目標ナビゲーションを実現した。
原題: Co-NavGPT: Multi-Robot Cooperative Visual Semantic Navigation Using Vision Language Models / Bangguo Yu, Qihao Yuan, Kailai Li 他
日本語で読む → - 論文VLAロボティクス
自らのスキルをブートストラップせよ:大規模言語モデルのガイダンスによる新規タスクの学習
LLMのガイダンスのもとで基本スキルを連鎖させ、報酬なしで新たな長期タスクを解けるスキルライブラリを自動構築する手法BOSSを提案。家庭環境での未見タスクのゼロショット実行で既存手法を上回る。
原題: Bootstrap Your Own Skills: Learning to Solve New Tasks with Large Language Model Guidance / Jesse Zhang, Jiahui Zhang, Karl Pertsch 他
日本語で読む → - 論文VLA画像認識
Octopus: 環境フィードバックを活用した身体性視覚言語プログラマ
視覚と言語の目標から実行可能なコードを生成し、計画と実世界操作のギャップを埋める身体性エージェントを提案。環境フィードバックを用いた強化学習で意思決定を改善。
原題: Octopus: Embodied Vision-Language Programmer from Environmental Feedback / Jingkang Yang, Yuhao Dong, Shuai Liu 他
日本語で読む → - 論文VLA機械学習
Transformerエージェントのためのクロスエピソードカリキュラム
複数エピソードの経験をTransformerのコンテキストに配置するカリキュラム学習手法を提案し、強化学習と模倣学習の両方で性能と汎化を向上させた。
原題: Cross-Episodic Curriculum for Transformer Agents / Lucy Xiaoyang Shi, Yunfan Jiang, Jake Grigsby 他
日本語で読む → - 論文VLAロボティクス
あなたにとって重要なものは何か?ロボット学習のための視覚表現アラインメントに向けて
人間のフィードバックを用いてロボットの視覚表現をユーザーの好みに合わせ、タスクに重要な要素を分離するRAPLを提案。X-MAGICALとロボットマニピュレーションで高いサンプル効率とゼロショット汎化を実現。
原題: What Matters to You? Towards Visual Representation Alignment for Robot Learning / Ran Tian, Chenfeng Xu, Masayoshi Tomizuka 他
日本語で読む → - 論文VLAAI
マルチモーダル大規模言語モデルによるエンドツーエンド身体性意思決定への挑戦:GPT4-Visionとその先の探求
身体性意思決定を評価するベンチマークPCA-EVALを提案し、GPT4-Visionがエンドツーエンドで高い意思決定能力を示すことを明らかにした。
原題: Towards End-to-End Embodied Decision Making via Multi-modal Large Language Model: Explorations with GPT4-Vision and Beyond / Liang Chen, Yichi Zhang, Shuhuai Ren 他
日本語で読む → - 論文VLAロボティクス
行動ラベルなし動画から密対応を介して行動を学習する
行動注釈なしの少数の動画デモから、画像とテキストを活用してロボット方策を構築し、卓上操作やナビゲーションタスクで有効性を示した研究。
原題: Learning to Act from Actionless Videos through Dense Correspondences / Po-Chen Ko, Jiayuan Mao, Yilun Du 他
日本語で読む → - 論文VLAロボティクス
大規模言語モデルによる創造的なロボットの道具使用
大規模言語モデルを活用し、自然言語指示からロボット制御コードを生成して、暗黙の物理制約や長期計画を伴う課題で創造的に道具を使うRoboToolを開発した。
原題: Creative Robot Tool Use with Large Language Models / Mengdi Xu, Peide Huang, Wenhao Yu 他
日本語で読む → - 論文VLAロボティクス
LanPose: 言語指示によるロボット組立のための6D物体姿勢推定
自然言語の指示と幾何特徴を融合し、組み立て対象物体と組立位置の6D姿勢を同時に予測するネットワークを提案し、実機で把持・操作・組立を実現した。
原題: LanPose: Language-Instructed 6D Object Pose Estimation for Robotic Assembly / Bowen Fu, Sek Kun Leong, Yan Di 他
日本語で読む → - 論文VLAロボティクス
RoboLLM: マルチモーダル大規模言語モデルに基づくロボット視覚タスク
マルチモーダル大規模言語モデルをバックボーンに用いて、ロボット操作の物体検出・セグメンテーション・識別などの視覚知覚タスクを統一的に解くフレームワークを提案し、ARMBenchで既存手法を上回った。
原題: RoboLLM: Robotic Vision Tasks Grounded on Multimodal Large Language Models / Zijun Long, George Killick, Richard McCreadie 他
日本語で読む → - 論文VLA機械学習
大規模言語モデルによるロボットスキルの条件付き組み合わせ
自然言語で記述されたスキルをLLMが組み合わせてロボットを操作するベンチマーク「Language-World」と、実演で高レベル計画を微調整する手法PCBCを提案した。
原題: Conditionally Combining Robot Skills using Large Language Models / K. R. Zentner, Ryan Julian, Brian Ichter 他
日本語で読む → - 論文VLAロボティクス
Dobby: GPT-4で駆動する対話型サービスロボット
大規模言語モデルを身体を持つロボットに組み込み、自然な会話とタスク計画を統合したサービスロボットを開発し、案内タスクでの人間との相互作用を評価した。
原題: Dobby: A Conversational Service Robot Driven by GPT-4 / Carson Stark, Bohkyung Chun, Casey Charleston 他
日本語で読む → - 論文VLAAI
形式手法フィードバックによる言語モデルのファインチューニング
自然言語タスク記述から自動運転などの制御ポリシーを生成するため、形式手法による検証結果を報酬として言語モデルを自動でファインチューニングする手法を提案し、仕様充足率を60%から90%に改善した。
原題: Fine-Tuning Language Models Using Formal Methods Feedback / Yunhao Yang, Neel P. Bhatt, Tyler Ingebrand 他
日本語で読む → - 論文VLA画像認識
Talk2BEV:自動運転のための言語拡張バードアイビューマップ
自動運転向けに、自然言語クエリでバードアイビュー(BEV)マップを操作・推論できる大規模視覚言語モデルインターフェースを提案し、1000シーン・2万問超のベンチマークも公開した。
原題: Talk2BEV: Language-enhanced Bird's-eye View Maps for Autonomous Driving / Tushar Choudhary, Vikrant Dewangan, Shivam Chandhok 他
日本語で読む → - 論文VLAロボティクス
Open X-Embodiment: ロボット学習データセットとRT-Xモデル
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
原題: Open X-Embodiment: Robotic Learning Datasets and RT-X Models / Embodiment Collaboration, Abby O'Neill, Abdul Rehman 他
日本語で読む → - 論文VLAロボティクス
LLMによる運転:説明可能な自動運転のための物体レベルベクトルモダリティの融合
物体レベルのベクトル数値データを事前学習済みLLMに統合し、運転状況の理解・質問応答・行動生成を行うマルチモーダル運転モデルを提案。10kシナリオからなる16万QAペアのデータセットも構築した。
原題: Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving / Long Chen, Oleg Sinavski, Jan Hünermann 他
日本語で読む → - 論文VLAAI
記憶拡張型大規模言語モデルによるオープンエンドな指示可能な身体性エージェント
対話から得た言語と行動計画のペアを外部記憶に蓄積し、検索拡張型LLMプロンプティングで自由形式の指示を行動プログラムに変換する身体性エージェントHELPERを提案。TEAChベンチマークで新たな最先端を達成した。
原題: Open-Ended Instructable Embodied Agents with Memory-Augmented Large Language Models / Gabriel Sarch, Yue Wu, Michael J. Tarr 他
日本語で読む → - 論文VLAロボティクス
事前学習済み視覚言語モデルのVQAによるロボットの二値状態認識
大規模データで事前学習済みの視覚言語モデルに視覚的質問応答(VQA)を適用し、再学習なしでドアの開閉や把持の成否などの二値状態を言語で認識する手法を検討・評価した。
原題: Binary State Recognition by Robots using Visual Question Answering of Pre-Trained Vision-Language Model / Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa 他
日本語で読む → - 論文VLAロボティクス
視覚と言語によるナビゲーションの説明手法の評価
視覚と言語によるナビゲーション(VLN)モデルの説明手法を忠実性の観点から定量的に評価するベンチマークを構築し、逐次意思決定におけるテキスト説明を測定する新たな消去ベースの評価パイプラインを提案した。
原題: Evaluating Explanation Methods for Vision-and-Language Navigation / Guanqi Chen, Lei Yang, Guanhua Chen 他
日本語で読む →
PR・アフィリエイト広告
