Jesse Thomason
University of Southern California
収録論文 33本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 社会的ロボットとの音声対話のための拡張可能なベンチマークに向けて音声対話2026/10/6
ロボットと人間の音声対話における課題(聞き返し、割り込み、身体信号、時間制約)を評価するベンチマークを提案し、その拡張ビジョンとリアルタイム通信フレームワークReticoを示す。
- 対話を通じたコードAPI理解への挑戦コード理解/エージェント2026/9/25
ブラックボックスなPython APIを対話的に探索して機能を理解するベンチマークPAUを提案し、ロボット学習のAAC手法を応用して探索を改善する手法を示した。
- SAFECAST: コントラストセット学習とキャリブレーションによるVLAポリシーの堅牢な故障検出VLA/故障検出2026/8/1
VLAポリシーの展開時分布シフトによる失敗を検出するため、コントラストセット摂動を用いて隠れ状態プローブの訓練とキャリブレーションを改善する手法を提案。実世界とシミュレーションで故障検出のROC-AUCを向上させた。
- Colosseum V2: 視覚言語行動モデルの汎化性能を評価するベンチマークVLA/ベンチマーク2026/5/1
VLAモデルの汎化性能を体系的に評価する大規模シミュレーションベンチマークColosseum V2を構築し、既存手法の限界を明らかにした。
- 少数デモンストレーションによる視覚-言語-行動モデルのメカニズム的解釈に基づくファインチューニングVLA2025/11/1
少数の実演からタスク固有のアテンションヘッドを特定し選択的にファインチューニングするRobotic Steeringを提案し、LoRAを上回る性能とロバスト性、計算コスト削減、解釈性向上を実機で示した。
- RobotFleet:集中型マルチロボットタスクプランニングのためのオープンソースフレームワーク群制御2025/10/1
異種ロボット群のタスク計画・スケジューリング・実行を集中管理するオープンソースフレームワークを提案。LLMを活用し、コンテナ化されたロボット群の拡張と管理を容易にする。
- PEEK: ロボットマニピュレーションポリシーのゼロショット汎化のための誘導と最小画像表現マニピュレーション2025/9/1
VLMを使ってエンドエフェクタ経路とタスク関連マスクを予測し、ポリシーに必要な最小限の手がかりを与えることで、シミュレーションのみで訓練したポリシーの実世界ゼロショット汎化を大幅に向上させる手法を提案。
- PSALM-V: 大規模言語モデルによる対話型視覚環境での記号計画の自動化VLA2025/6/1
視覚環境での試行錯誤を通じて行動の事前・事後条件を自動学習し、LLMで記号計画を立案するシステムを提案。部分的観測下でも計画成功率を37%から74%に向上させた。
- 手の軌道検索によるロボットの高速適応マニピュレーション2025/5/1
人間の手のデモンストレーションからロボットの動作データを検索し、4分以内に新しいマニピュレーションタスクを学習する手法を提案。
- ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教えるVLA2025/5/1
言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。
- 能動的実験選択によるマルチタスクロボット方策の効率的評価評価/ベンチマーク2025/2/1
ロボット方策の評価を能動的テスト問題として定式化し、自然言語をタスク間の関係の事前情報として用いることで、情報量の多い試行を効率的に選択し評価コストを削減するフレームワークを提案した。
- M3PT: 人物認識ブロックワイズ注意機構を備えたマルチモーダル多人数ソーシャルシグナル予測トランスフォーママルチモーダル行動予測2025/1/1
多人数会話における身体姿勢・頭部姿勢・発話・食事行動などのマルチモーダルなソーシャルシグナルを、モダリティと時間のブロックワイズ注意マスクを持つ因果トランスフォーマで同時に予測する単一モデルM3PTを提案した。
- 言語モデルは環境フィードバックから記号プランナーの行動意味論を推論できるVLA2024/6/1
LLMと記号プランナーを組み合わせ、環境からの実行結果を基に行動の意味論を自動学習するPSALMを提案。7環境で成功率を36.4%から100%に向上させた。
- 言語誘導ロボット政策評価のためのコントラストセットVLA2024/6/1
言語指示に基づくロボットの評価において、テスト事例に小さな摂動を加える「コントラストセット」を導入し、実験者の負担を抑えつつ政策の特性を明らかにする手法を提案した。
- TwoStep: 古典的プランナと大規模言語モデルを組み合わせたマルチエージェントタスク計画マルチエージェント計画2024/3/1
LLMで目標をサブゴールに分解し、古典的プランナで各サブゴールを解くことで、マルチエージェント計画を高速かつ実行成功を保証しつつ効率的に行う手法を提案。
- ViSaRL: 人間の顕著性に導かれた視覚強化学習VLA2024/3/1
人間の視覚的注意(顕著性)を強化学習に組み込み、高次元画像入力からの効率的な視覚表現学習を実現し、サンプル効率・成功率・汎化性能を向上させた。
- コロッセウム:ロボットマニピュレーションの汎化性能を評価するベンチマークマニピュレーション2024/2/1
環境の色・テクスチャ・照明・カメラ位置など14種類の摂動に対するロボットマニピュレーションの汎化性能を評価するシミュレーションベンチマークを提案し、最先端モデルの成功率が30〜50%低下することを示した。
- 言語と行動の橋渡し:言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方(状態評価・方策条件・認知計画・統合VLA)で分類し、最新手法と課題を整理したサーベイ。
- どっち?物体間の文脈と複数視点を活用した言語グラウンディング言語グラウンディング2023/11/1
似た物体を区別する言語指示から対象物体を選ぶ際、物体同士の比較情報と複数視点の画像を統合して推論するMAGiCを提案し、SNAREタスクで精度を改善した。
- バッグ・オブ・トリックで実現する遠隔指示表現遠隔物体指示2023/1/1
家庭用ロボットが既知の環境で遠隔からの物体指示を解決するため、汎用視覚言語モデルを3D座標と文脈で拡張し、大規模な3D探索空間で高精度に物体を特定する手法を提案。
- CLIP-Nav: CLIPを用いたゼロショット視覚言語ナビゲーションVLA2022/11/1
CLIPを活用し、データセット固有の微調整なしで自然言語指示に従って屋内をナビゲートするゼロショット視覚言語ナビゲーション手法を提案し、REVERIEタスクで教師ありベースラインを上回る性能を示した。
- 反復型視覚言語ナビゲーションVLA2022/10/1
同じ環境で長期にわたり記憶を保持しながら言語指示に従って移動するエージェントを評価するIVLNパラダイムとIR2Rベンチマークを提案し、地図構築型エージェントが環境の持続性を活用できることを示した。
- ProgPrompt: 大規模言語モデルを用いた状況依存ロボットタスクプランの生成タスクプランニング2022/9/1
環境内の利用可能な行動と物体をプログラム風に記述し、実行可能な例示プログラムと共にLLMへ入力することで、状況に応じたロボットのタスクプランを生成する手法を提案。
- TEACh: 対話しながら家事タスクを遂行する身体性エージェントのデータセット言語接地2021/10/1
家庭内タスクを人間同士の対話で協力して遂行する3000以上の対話データセットTEAChを構築し、対話理解・言語接地・タスク実行のベンチマークを提案した論文。
- 3D物体と言語の接地:形状・輪郭表現の理解に向けた新ベンチマークSNARE言語接地2021/7/1
3D物体を対象に、視覚的・非視覚的な言語表現から参照物体を選ぶ新タスクSNAREを提案し、CLIP系モデルが形状理解で弱いことを示した上で視点推定の追加が精度を向上させることを明らかにした。
- RobotSlangベンチマーク:対話誘導によるロボットの自己位置推定とナビゲーション対話ナビゲーション2020/10/1
人間同士の対話でロボットを誘導する169件の対話データセットを構築し、対話履歴からの自己位置推定とナビゲーションのタスクを提案した論文。
- 再帰的メンタルモデルによる対話型ナビゲーション対話ナビゲーション2020/5/1
案内役と質問するナビゲータの2エージェント対話タスクを設定し、互いの行動をモデル化する再帰的メンタルモデル(RMM)を提案。質問生成・回答生成・移動行動を強化学習で学習し、未知環境への汎化性能が向上することを示した。
- ALFRED:日常タスクの指示を解釈するためのベンチマークVLA2019/12/1
自然言語の指示と視点映像から家庭内タスクの行動系列を学習するベンチマークALFREDを提案し、既存モデルでは性能が低いことを示した。
- 対話経験から言語能力を自己拡張するロボット対話エージェントヒューマンロボット対話2019/7/1
意味解析と確率的対話管理を組み合わせ、ユーザーとの対話経験から新たなエンティティや指示表現を学習して知識ベースを拡張するロボット対話システムを開発し、シミュレーションと実機で有効性を示した。
- 対話を通じた視覚ナビゲーションナビゲーション2019/7/1
人間同士の対話履歴を用いて未知環境で目標物体へナビゲートするタスクとデータセットを提案し、マルチモーダルなseq2seqモデルで初期性能を示した。
- 静的な物体情報を活用したロボットの成功検出改善マニピュレーション2019/4/1
物体の画像や言語記述といった静的データを追加し、積み重ね・入れ子動作の成否判定精度を最大57%向上させた。
- 未来予測による言語からの解釈可能な計画生成言語指示・計画2019/3/1
自然言語の指示を中間目標の系列に変換する枠組みを提案し、行動前に結果を予測する「プロスペクション」を学習させることで、シミュレーション環境でのロボット指示解釈の精度を示した。
- RoboCup@Homeと建物全体知能における対話と自律性サービスロボティクス2018/10/1
オフィス環境での長期運用とRoboCup@Homeの家庭内サービス課題に取り組むUT Austinのロボットシステムを比較し、両プロジェクトを支える統合ソフトウェアアーキテクチャと実環境展開から得られた新たな研究課題を論じた論文。
