David Hsu
National University of Singapore
収録論文 73本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RoboColosseum：実世界規模で物理知能を評価する分散評価フレームワークベンチマーク評価2026/11/2
多様な環境の実機ロボット群をネットワーク化し、VLAポリシーやAIエージェントを統一プロトコルで比較評価する分散ベンチマークを提案した。
- ブラックボックス視覚言語モデルの不確実性を代理ベイズ推定で定量化する視覚グラウンディングVLA2026/10/29
ブラックボックスVLMによる視覚的指示対象の特定に対し、外部の代理ベイズモデルでクエリごとの不確実性を推定し、較正とタスク性能を改善する手法を提案した。
- SiGNgapore：標識ベース視覚ナビゲーションのためのインタラクティブデータセットナビゲーション2026/10/7
シンガポールの公共空間で収集した、標識を手がかりに地図なしでナビゲーションするためのRGB・深度・オドメトリ・IMUデータセットを提供し、長期的なナビゲーション任務と標識中心のシナリオを含む。
- RAPID: 実演からのロボットエージェントプログラミングVLA2026/9/24
人間の一回の視覚的実演から、コード生成エージェントがロボットプログラムを自動生成・検証・改良し、物体中心の関係表現で汎化を実現する手法を提案。
- どこに加わるべきか？言語誘導型目標予測によるロボットのグループ参加ソーシャルナビゲーション2026/9/23
自然言語で指定されたグループにロボットが参加するため、言語条件付きモデルでグループを特定し、人間の隊形事前分布を用いて社会的に適切な参加位置を予測する手法を提案した。
- 不確実性下でのマルチモーダル指示グラウンディングによるマニピュレーション計画マニピュレーション2026/9/21
言語とジェスチャーの不確実な手がかりを統合し、VLMの意味情報と3D幾何学的尤度をベイズ的に融合して対象物体を推定、必要に応じて確認質問も行うマニピュレーション計画フレームワークMIGUを提案した。
- 物体中心ポリシーを組み合わせたリcedingホライズン押し動作マニピュレーション2026/9/20
任意形状の3D物体を長期的に押して目標姿勢へ移動させるため、物体中心の学習ポリシーとBIT*探索を組み合わせた階層的フレームワークを提案し、実機実験で有効性を示した。
- 不確実性下での仮説駆動型モデル拡張によるオープンワールドロボット計画プランニング2026/7/1
未知環境で動作するサービスロボットが、基盤モデルを用いて世界モデルの仮説を生成・検証・更新しながら自律的に知識を拡張し、タスク計画を実行する枠組みを提案した。
- GROW$^2$: ロボットの道具使用における「何を」「どこで」の接地ツール使用2026/6/1
ロボットが既存の道具を別の用途に使う際、物体の部品を手がかりに、言語モデルで道具と対象を選び、視覚モデルで正確な3D領域を特定する手法を提案。ベンチマークと実機実験で優位性を示した。
- CANINE: 視覚障害者へのロボット盲導犬を用いた対話的ナビゲーションのコーチングナビゲーション支援2026/5/1
視覚障害者がロボット盲導犬と協調してナビゲーションするスキルを、個別適応的な音声フィードバックで自動コーチングするシステムを提案し、実験で学習効率と最終性能の向上を実証した。
- 動的環境における可視性を考慮した移動把持移動把持2026/5/1
限られた視野を持つ移動ロボットが、動的で未知の環境で安全に物体を把持するための統合システムを提案。低レベルの全身プランナーと高レベルの行動木プランナーを組み合わせ、シミュレーションと実機で有効性を実証した。
- ロボットから人への物体受け渡しを堅牢にする能動的接触センシングマニピュレーション2026/5/1
ロボットが物体を人に渡す際、人がしっかり握ったかどうかを能動的な動きと力センシングで推定し、誤ったタイミングでの解放を防ぐ手法を提案。実験で97.5%の成功率を達成した。
- 道案内を超えたナビゲーション：視覚障害者との環境インタラクションのためのロボット協調支援技術/ナビゲーション2026/3/1
視覚障害者とロボットが協力し、ドアを開けるなどの環境操作を伴う移動を支援するシステムを提案・評価した論文。
- 看板を頼りに地図なしで移動するロボットの視覚的看板グラウンディングナビゲーション2026/2/1
実世界の看板の意味を3Dシーンに結びつける「看板グラウンディング」を定式化し、VLMに適した空間・意味表現SignSceneを提案。地図なしで看板のみを使ったSpotロボットのナビゲーションを実現した。
- 障害物からエチケットへ：VLMに基づく経路選択によるロボットのソーシャルナビゲーションソーシャルナビゲーション2026/2/1
幾何学的な経路計画に微調整した視覚言語モデルによる社会的文脈の推論を組み合わせ、人間の活動や社会規範に配慮した経路をリアルタイムで選ぶロボットナビゲーション手法を提案した。
- 視覚-言語-行動モデルの未来を導く10の未解決課題VLA2025/11/1
VLAモデルの発展における10の主要マイルストーンと新たな研究動向を議論し、今後の研究方向に注目を促す論文。
- InFeR: 学習済み視覚ナビゲーション制御における情報に基づく故障回復視覚ナビゲーション2025/10/1
模倣学習ポリシーに変分情報ボトルネックとGrad-CAMを組み合わせ、追加データなしで分布外故障の検出・原因特定・自律回復を可能にするフレームワークを提案。
- Set It Up：構成可能な生成モデルによる機能的物体配置物体配置2025/8/1
大規模言語モデルと拡散モデルを組み合わせ、食卓や本棚、家具の配置など、指示に応じた機能的で美的な物体配置を実現するフレームワークを提案。
- SignLoc: ナビゲーションサインと公開地図を用いたロバストな自己位置推定自己位置推定2025/8/1
ナビゲーションサインと公開地図（間取り図やOpenStreetMap）を利用し、事前のセンサマッピングなしでロボットの大域自己位置推定を行う手法を提案。モンテカルロフレームワーク内で確率的観測モデルによりサインの方向・位置情報を地図グラフにマッチングさせ、1〜2個のサイン観測で高精度に位置推定できることを大学キャンパス、ショッピングモール、病院で実証した。
- オープンワールド物体ゴールナビゲーションのためのオープンシーングラフ物体ゴールナビゲーション2025/8/1
基盤モデルとオープンシーングラフ表現を組み合わせ、未知環境で自然言語指定の物体を探索するモジュラー型ロボットシステムを提案し、シミュレーションと実機で高い性能を示した。
- MimicFunc: 単一の人間動画から機能対応を介して道具操作を模倣する模倣学習2025/8/1
機能中心の局所座標系「ファンクションフレーム」を構築し、1本のRGB-D人間動画から新しい道具への操作スキルを汎化するフレームワークを提案。
- CLASP: セマンティックキーポイントによる汎用衣服操作マニピュレーション2025/7/1
衣服のセマンティックキーポイントを中間表現として用い、VLMによるタスク計画とキーポイント条件付き操作スキルを組み合わせることで、多様な衣服の折り畳み・吊り下げ等の汎用操作を実現した。
- 標識理解によるロボット自律ナビゲーションVLA2025/6/1
ロボットが公共空間の案内標識を視覚言語モデルで解釈し、場所と方向を抽出するタスクを提案し、ベンチマークと評価指標を構築した。
- 取扱説明書を読んで家電を操作するロボットVLA2025/5/1
家電の取扱説明書を大規模視覚言語モデルで解釈し、記号的なモデルを構築して実際の操作に結びつけるロボットシステムApBotを提案した。
- FUNCTO: 機能中心のワンショット模倣学習による道具操作模倣学習2025/2/1
人間の1回のデモ動画から、同じ機能を持つ形状の異なる道具へ操作スキルを汎化できる、3D機能キーポイント表現を用いたワンショット模倣学習手法を提案。
- Robi Butler: 家庭用ロボットアシスタントとのマルチモーダル遠隔インタラクション遠隔操作/マルチモーダル指示2024/9/1
Zoom通話のように遠隔から家庭用ロボットへ音声・テキスト・指差しで指示し、LLMが多段階行動計画を生成して家事を実行するシステムを構築し、ユーザー研究で遠隔操作体験を評価した。
- 幾何学的不確かさ下での安定物体配置のための微分可能接触ダイナミクスマニピュレーション2024/9/1
接触ダイナミクスの微分可能シミュレーションを用いて、力覚センサの読みから物体の姿勢や形状の不確かさを推定し、ロボットアームによる安定した物体配置を実現する手法を提案。
- セマンティックキーポイントによる汎用衣服操作マニピュレーション2024/8/1
衣服の「右肩」「左袖」などの意味的キーポイントを深度画像から抽出し、LLMによるタスク計画と低レベル動作を階層的に繋ぐことで、折り畳み・平展ばし・吊り下げ・配置など多様な衣服操作を実現した。
- オープンワールド物体目標ナビゲーションのためのオープンシーングラフナビゲーション2024/7/1
基盤モデルとオープンシーングラフを統合し、未知環境で自然言語指定の物体を探索するゼロショット物体目標ナビゲーションシステムOpenSearchを提案した。
- IntentionNet：キロメートル規模の地図に依存しない視覚ナビゲーションナビゲーション2024/7/1
単一のニューラルネットワークを低レベル制御器として使い、「意図」と呼ばれる汎用インターフェースで操舵するナビゲーションシステムを提案し、Spotロボットで1km以上の屋内・屋外走行を実現した。
- セット・イット・アップ！：構成的生成モデルによる機能的物体配置物体配置2024/5/1
「二人用の食卓をセットして」のような曖昧な指示から、物体間の抽象的な空間関係をLLMで推論し、拡散モデルを組み合わせて機能的で美しい配置を生成するフレームワークを提案。
- 全身ロボット動作のためのニューラルランダム化プランニング全身運動計画2024/5/1
サンプリングベース運動計画とニューラルサンプラーを組み合わせ、家庭環境での全身移動マニピュレーション計画を実時間で行う手法を提案。シミュレーション学習のみで実機の未知環境にゼロショット転移できる。
- シーン行動マップ：メートル情報なしでナビゲーションするための行動マップナビゲーション2024/5/1
間取り図や手描きスケッチなどの抽象的な2Dマップから、ナビゲーション行動を表すトポロジカルグラフ（SAM）を学習的に抽出し、四足ロボットでのナビゲーションに活用する手法を提案。
- 汎用変形物体操作のための微分可能粒子法変形物体操作2024/5/1
変形物体を粒子集合として表現し、微分可能な粒子ダイナミクスシミュレータと軌道最適化を組み合わせることで、豆・ロープ・布・液体など多様な物体の操作を可能にする汎用アルゴリズムDiPacを提案した。
- ロボットの物体曖昧性解消のための大規模言語モデルVLA2024/1/1
大規模言語モデル（LLM）を用いて、ロボットがユーザーの求める物体を曖昧さなく特定するための意思決定を支援する手法を提案。少数ショットプロンプトエンジニアリングにより、LLMが適切な質問を生成し、複雑な物体群から正しい物体を選び出せることを示した。
- LLM-State: 大規模言語モデルによる長期タスク計画のためのオープンワールド状態表現タスク計画2023/11/1
LLMの文脈理解能力を活かして物体属性を継続的に拡張・更新するオープンな状態表現を提案し、家庭環境での長期タスク計画の精度を向上させた。
- 不変性が汎化の鍵：視覚ナビゲーションにおけるSim-to-Real転移への表現の役割の検討sim2real2023/10/1
深度と意味情報を含む不変な表現を用いることで、シミュレーションのみで訓練した視覚ナビゲーション方策が多様な実環境に汎化できることを示した。
- TeachingBot：人間の手書き文字を教えるロボット教師物理的ヒューマンロボットインタラクション2023/9/1
学習者の筆跡スタイルを確率的モデルで推定し、可変インピーダンス制御で物理的に手書きを指導する適応型ロボットシステムを提案。15名の被験者実験で有効性を実証した。
- 「テーブルの片付け」：卓上物体再配置のための常識的目的のグラウンディングマニピュレーション2023/7/1
LLMの常識知識と画像ベースの整頓度スコアを組み合わせ、人間の手本なしにテーブル上の物体を意味的・視覚空間的に整頓する手法を提案。
- 自動運転における軌道予測で本当に重要なこと軌道予測2023/6/1
軌道予測の精度指標と実際の運転性能の乖離（ダイナミクスギャップ）に着目し、予測器の計算効率と精度のトレードオフを分析して、対話的でタスク駆動型の評価プロトコルの重要性を示した。
- 大規模言語モデルを常識知識として活用する大規模タスクプランニングタスクプランニング2023/5/1
LLMを世界モデルと方策の両方として捉え、MCTSと組み合わせることで複雑なタスクプランニングを効率化するLLM-MCTSを提案した論文。
- プランナ最適化問題：定式化とフレームワークプランニング最適化2023/3/1
プランナの内部パラメータを問題インスタンスに応じて自動調整する「プランナ最適化問題」を統一的に定式化し、再利用可能なソフトウェアフレームワークOPOFを提案した。
- COACH: 協調ロボットティーチングロボット教育2023/2/1
ロボットが教師役となり生徒モデルに物理タスクを教える枠組みをマルコフゲームとして定式化し、効率的な近似解法を提案。シミュレーションと実機で検証した。
- 物体配置のための自然言語指示の微分可能な構文解析と視覚的グラウンディングVLA2022/10/1
自然言語による物体配置指示を、構文解析と粒子ベースのグラフニューラルネットワークで物体ごとにグラウンディングし、曖昧さを考慮しつつエンドツーエンドで学習する手法を提案。
- DaXBench: 微分可能物理に基づく変形可能物体操作のベンチマーク変形可能物体操作2022/10/1
ロープ・布・液体の操作を含む9つの高難度タスクを備えた、微分可能物理シミュレータベースの変形可能物体操作ベンチマークを提案し、計画・模倣学習・強化学習手法を比較評価した。
- ロボティクスにおける部分観測マルコフ決定過程：サーベイ意思決定2022/9/1
不確実性下のロボット意思決定・制御タスクをPOMDPでモデル化・解決する研究を、タスク特性とアルゴリズムの両面から整理したサーベイ。
- LEADER: 不確実性下の計画のための運転行動への注意学習自動運転計画2022/9/1
自動運転の計画において、重要だが稀な人間の行動に注意を向けるニューラルネットワークをミニマックスゲームで学習し、安全な計画を実現する手法。
- 部分観測環境下での深層視覚ナビゲーション視覚ナビゲーション2021/9/1
CNNとLSTMを組み合わせた模倣学習ベースの制御器を構築し、四足歩行ロボットSpotで歩行者回避や死角障害物回避、エレベーター乗車を実現した。
- INVIGORATE: 対話と把持で混雑環境の物体を特定するロボットシステムVLA2021/8/1
自然言語とRGB画像から混雑環境内の対象物体を推論し、遮蔽関係を検出して質問で曖昧さを解消しながら把持するPOMDP統合システムを構築した。
- 粒子ベースによる新規物体のゼロからの操作マニピュレーション2021/7/1
物体を粒子表現でオンライン学習し、モデルベース推論とデータ駆動学習を融合して、事前学習なしに多様な物体の把持や押し操作を実現した研究。
- 微分可能SLAMネット：視覚ナビゲーションのためのパーティクルSLAM学習SLAM/視覚ナビゲーション2021/5/1
パーティクルフィルタ型SLAMを微分可能な計算グラフとして実装し、ナビゲーション目的に合わせてSLAMとNN部品を一括学習。未知屋内環境のロボットナビゲーションでORB-SLAMを上回り、PointNav成功率を37%から64%へ改善。
- 変形物体の視覚操作のための潜在グラフダイナミクス学習変形物体操作2021/4/1
変形物体をキーポイントのグラフとして表現し、その相互作用ダイナミクスをGNNとRNNで学習してモデル予測制御により操作する手法を提案。ロープや布の操作で高性能を示し、実機にも転移できることを示した。
- 計画と学習のループを閉じる：自動運転への応用自動運転2021/1/1
オンラインプランナーと学習器を相互に改善する閉ループアルゴリズムLeTS-Driveを提案し、混雑した都市交通の自動運転シミュレーションで計画単独や学習単独より優れることを示した。
- MAGIC: オンラインPOMDP計画のためのマクロ行動学習POMDP計画2020/11/1
オンラインPOMDP計画の性能をフィードバックとしてマクロ行動生成器をオフラインで学習し、長期的計画の計算効率と性能を向上させる手法を提案した論文。
- 大規模混在都市交通における自動運転シミュレータSUMMIT自動運転シミュレーション2020/11/1
CARLAを拡張し、OpenStreetMap上の任意の都市で多様な交通参加者の挙動を模擬する高忠実度シミュレータSUMMITを提案。多エージェント運動モデルGAMMAとPOMDPプランナContext-POMDPを備え、群衆運転アルゴリズムの開発・評価を可能にする。
- SUMMIT: 大規模混在交通における都市走行シミュレータシミュレーション2019/11/1
OpenStreetMapと異種マルチエージェント予測モデルを活用し、世界中の都市で密集した無秩序な交通を再現できるCARLA拡張の高忠実度シミュレータを開発した。
- タスク間の信頼判断におけるロボットの能力と意図信頼・人間ロボット協働2019/9/1
人間がロボットにタスクを委任する際、ロボットの能力・意図の推定と全体的信頼がどう統合されるかを被験者実験で調べた研究。
- GAMMA: 自動運転のための汎用エージェント運動モデル自動運転/交通予測2019/6/1
異種混在する交通エージェントの運動を速度空間での制約付き最適化として予測し、人間の行動状態をパラメータ化することで多様な挙動に対応したリアルタイム予測モデルを提案。
- LeTS-Drive: 木探索から学ぶ群衆環境での自動運転自動運転2019/5/1
POMDPの信念木探索をオフラインで深層学習に模倣させ、オンライン探索を学習済み方策と価値関数で誘導することで、混雑環境での自動運転をリアルタイムに実現した研究。
- 合成可能なロボット学習のための微分可能アルゴリズムネットワークナビゲーション2019/5/1
微分可能なロボットアルゴリズムとモデルをニューラルモジュールとして組み込み、モデル駆動の構造とデータ駆動の端到端学習を融合したDANを提案し、局所視覚と不完全な2D地図のみから複雑な3D環境をナビゲートする事例で有効性を示した。
- 人間の意図を推定するための誘導的探索による人間-ロボット相互作用人間-ロボット相互作用2018/12/1
人間の行動から意図を潜在変数として学習し、確率的決定モデルに組み込むことで、ロボットが意図推定のための能動的探索と性能最大化の行動選択を両立できる手法を提案した。自動運転シミュレーションで効率と安全性の向上を確認。
- 複数タスク間における人間のロボット信頼の転移モデルHuman-Robot Interaction2018/7/1
家庭内作業と自動運転の2タスクで人間の信頼形成を調査し、潜在タスク表現を用いた信頼の進化・転移モデル（ベイズ・ニューラル・ハイブリッド）を提案。未知タスクや未知ユーザーへの信頼予測で既存手法を上回った。
- アルゴリズム計画と深層学習を統合した部分観測ナビゲーションナビゲーション2018/7/1
システムの各構成要素を微分可能なニューラルネットとして表現し、状態推定・計画・行動を単一の再帰型ネットワーク(NavNets)でエンドツーエンドに学習して、未知環境での部分観測ナビゲーションを実現した。
- 対話的に指示表現を視覚的に接地するロボットシステムINGRESS指示接地2018/6/1
自然言語の指示から物体と関係を推論して把持・配置するロボットシステムを提案し、生成ベースの2段階ニューラルネットで接地と曖昧性解消の質問生成を実現した。
- パーティクルフィルタネットワークと視覚的自己位置推定への応用視覚的自己位置推定2018/5/1
システムモデルとパーティクルフィルタを単一のニューラルネットに統合し、2D地図のみを用いた視覚的自己位置推定で従来手法を上回る性能を示した研究。
- 群衆中の自動運転のための歩行者モデリングと計画歩行者予測・計画2018/5/1
歩行者の意図と周囲との相互作用を考慮した歩行者運動予測モデルPORCAを構築し、POMDP計画と組み合わせて群衆中を安全かつ円滑に走行する自動運転システムを実現した。
- 信頼を考慮した人間とロボットの協調意思決定：モデル学習と計画人間ロボット協調2018/1/1
人間の信頼を潜在変数とするPOMDPをデータから学習し、ロボットが信頼を推定しつつ長期的なチーム性能を最大化する行動を計画できるようにした。卓上片付け課題の実験で有効性を検証した。
- 人とロボットの協調における適応の数理モデルヒューマンロボット協調2017/7/1
人間の内部状態やその変化を不確実性として扱い、確率的計画とゲーム理論で人と協働するロボットの適応的な意思決定をモデル化した研究をまとめた論文。
- 自然言語指示による物体検索のための時空間・意味的グラウンディングVLA2017/7/1
自然言語の指示表現を画像中の物体とその空間関係に直接対応付ける2段階のニューラルネットワークを提案し、未見物体の把持・配置を行うロボットシステムを実現した。
- 共有自律における人間とロボットの相互適応共有自律2017/1/1
人間の適応モデルを部分観測確率決定モデルに組み込み、人間が柔軟なら良い戦略へ導き、頑固なら信頼維持のため好みに従う相互適応手法を提案し、被験者実験で性能と信頼の向上を示した。
- ベイズ最適化による因子分解型文脈方策探索ベイズ最適化2016/12/1
文脈を目標型と環境型に分解し、目標型文脈上で経験を直接一般化することで、ベイズ最適化による文脈方策探索のデータ効率を改善する手法を提案した。
- 不確実性下の平面接触操作のための構成格子接触操作2016/5/1
接触センサの実時間フィードバックを用いた卓上物体操作をPOMDPとして定式化し、格子の遅延構築とオフライン計画の併用で効率的に解く手法を提案した。
- 人間のフィードバックから学ぶ動的なロボットから人間への物体受け渡し物体受け渡し2016/3/1
ロボットが人間と対話しながら物体の受け渡しを学習する手法を提案し、水筒の受け渡し実験で人間の動きに適応できることを示した。
