Tianmin Shu
Johns Hopkins University
収録論文 23本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Wi-Fi信号源への視覚・電波融合ナビゲーションナビゲーション2026/10/8
ロボットが未地図環境でWi-Fi信号を発する機器に到達するため、電波の到来方向と視覚情報を統合するナビゲーション手法を提案し、シミュレータWiFiSpacesで学習した。
- 観察・推論・協調:ゼロショット協調のためのロボットパートナーの制約推論協調マニピュレーション2026/10/1
ロボットが別のロボットの物理的制約を共同行動から推論し、新しいタスクでゼロショット協調を実現するベンチマークと手法を提案。
- JEPA-TTT: ダイナミクス変化下の計画のための潜在世界モデルの持続的テスト時訓練世界モデル2026/9/30
事前学習済みJEPA世界モデルの潜在ダイナミクス予測器をテスト時に自己教師あり学習で適応させ、環境のダイナミクス変化下でも計画性能を向上させる手法を提案。
- RF-HOI: 無線周波数信号による人と物体のインタラクション認識認識2026/8/1
プライバシーに配慮しつつ、ミリ波レーダーとRFIDを組み合わせたマルチモーダルRF信号のみで人と物体のインタラクションを認識するフレームワークを提案。シミュレータで合成データを生成し、少量の実データで微調整することで高い性能を達成した。
- 3D-Belief:生成的3D世界モデリングによる身体化された信念推論世界モデル/ナビゲーション2026/5/12
部分観測から3D空間でのエージェントの信念を推定・更新する生成的3D世界モデルを提案し、シミュレーションと実世界の物体ナビゲーションタスクで有効性を示した。
- 安全で解釈可能なマルチモーダル経路計画によるマルチエージェント協調マルチエージェント協調2026/2/1
VLMを用いて言語指示を経路編集プログラムに変換し、モデルベース計画で安全性を検証することで、ロボットが他者と協調しながら経路を適応させる手法CaPEを提案。
- PartInstruct: 部品レベル指示による細粒度ロボットマニピュレーションのためのベンチマークマニピュレーション2025/5/1
部品レベルの指示と3Dラベル付き物体を含む大規模データセットとベンチマークを構築し、既存のロボットマニピュレーション手法を評価した。
- GenEx: 探索可能な世界を生成する世界モデル2024/12/1
1枚のRGB画像から3D一貫性のある想像上の環境を生成し、AIエージェントがその中を探索・ナビゲートできるシステムを提案。
- 制約付き人間-AI協調:包摂的な身体性社会知能チャレンジ人間-AI協調2024/11/1
身体的制約を持つ人間を支援する身体性エージェントの社会知覚と協調計画を評価するベンチマークCHAICを提案し、LLMと行動モデリングを活用した手法を導入した。
- 逆生成モデリングによる少数ショットタスク学習少数ショット学習2024/11/1
事前学習した可逆生成モデルを使い、重み更新なしで数例から新しいタスク概念(目標や動作スタイル)を学習する手法を提案。物体再配置・ナビゲーション・動作キャプション・自動運転・実機卓上操作で検証。
- 生成的ワールドエクスプローラーVLA2024/11/1
エージェントが大規模3D世界を心的に探索し、想像した観測で信念を更新して意思決定に活かすフレームワークを提案。
- 心の理論を用いた人間とロボットの協調における実用的な音声指示追従VLA2024/9/1
雑音や発音の乱れがある音声指示でも、環境の文脈と心の理論に基づく推論でロボットが実用的に従えるニューロシンボリックモデルSIFToMを提案し、シミュレーションと実環境で有効性を示した。
- 言語モデル・エージェントモデル・世界モデル:機械推論と計画のためのLAW推論・計画2023/12/1
言語モデル・エージェントモデル・世界モデルを統合するLAWという新たな推論の枠組みを提唱し、人間らしい熟慮的推論を実現するための展望を論じたポジションペーパー。
- 入れ子型マルチエージェント推論のためのニューラル償却推論マルチエージェント推論2023/8/1
高次の社会的推論をニューラルネットワークで償却し、入れ子型マルチエージェント推論を効率化する手法を提案し、2つの課題で精度低下を抑えつつ計算効率を向上させた。
- 診断・フィードバック・適応:テスト時ポリシー適応のための人間参加型フレームワーク人間参加型学習2023/7/1
ユーザーのフィードバックからタスクに無関係な概念を特定し、反事実的デモンストレーションを用いてデータ拡張を行うことで、個人の好みに適応したポリシーを実現する対話型フレームワークを提案。
- 大規模言語モデルを用いた協調型身体性エージェントのモジュール構築VLA2023/7/1
LLMを認知モジュールに組み込み、知覚・記憶・実行を統合した協調型身体性エージェントCoELAを構築し、分散制御下での多エージェント協調タスクを効率的に解決できることを示した。
- NOPA: 社会的に知的な家庭用アシスタント構築のためのニューラル誘導オンライン確率支援家庭支援ロボット2023/1/1
家庭内で人間の目標をオンラインで推論し、不確実性に応じて支援計画を適応させるニューラル誘導と確率的推論を組み合わせた手法を提案し、仮想家庭環境での課題で有効性を示した。
- グラフベース能動報酬学習による汎化可能な空間目標表現の発見模倣学習/報酬学習2022/11/1
物体再配置タスクのワンショット模倣学習において、物体間の空間関係をグラフと等価写像で表現し、逆強化学習と能動報酬学習を組み合わせることで、未知環境でも汎化する目標仕様を推定する手法GEMを提案した。
- 社会的相互作用をMDPに組み込む社会的相互作用/MDP2021/10/1
ミクロ社会学の5つの基本的相互作用を、他者の隠れ報酬の関数について推論する入れ子型MDPの拡張として定式化し、新しい環境でもゼロショットで社会的相互作用を実行できるロボットエージェントを実現した。
- できることを見せて:人間とロボットの協働のための到達可能作業空間の能力キャリブレーション人間ロボット協働2021/3/1
少数のデモンストレーションで人間がロボットの到達可能範囲を正しく認識できるよう校正する手法を提案し、協働作業の効率向上を示した。
- 協調作業における心のモデリングを用いた説明生成HRI2020/7/1
人間とロボットの協調作業で、ロボットがユーザの心的状態をベイズ推論し、自身の意図を説明することで協調性能と印象を向上させる枠組みを提案した。
- 人間のインタラクション動画から社会的アフォーダンス文法を学習しヒューマノイドへ転移ヒューマンロボットインタラクション2017/3/1
RGB-D動画から人間同士の相互作用を時空間AND-ORグラフとして弱教師あり学習し、ヒューマノイドのリアルタイム動作推論に転移する枠組みを提案した。
- 人間活動動画から学ぶ社会的アフォーダンスヒューマンロボットインタラクション2016/4/1
人間同士のインタラクション動画から身体部位の動きや空間関係を弱教師あり学習し、ロボットが人間の動きに反応して自然に動けるようにする手法を提案した論文。
