Song-Chun Zhu
収録論文 38本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HappyWorld-Bench:世界モデルの信頼性を評価する総合ベンチマーク世界モデル評価2026/9/21
生成世界モデルがエージェントの相互作用下でどれだけ信頼できるかを、動画・空間・身体性の3トラックで評価するベンチマークを提案し、14の動画モデル、9の空間システム、8の身体性モデルを評価した。
- UniLM-Nav: ゼロショット・ラストマイルナビゲーションのための統合フレームワークナビゲーション2026/7/1
モバイルマニピュレーションにおけるラストマイルナビゲーションを、視点選択・アフォーダンス接地・ベースポーズ推論に分解し、共有のMLLMで解決する統合フレームワークを提案。OVMMベンチマークでSOTAを達成。
- ヒューマノイドロボットによる効率的な多地点検査のための経路・動作最適化マニピュレーション2025/10/1
階層的計画とMPCを組み合わせ、ヒューマノイドが多地点をミリメートル精度で高速に検査する枠組みを提案し、Kuavo 4Proで検証した。
- VideoArtGS: 単眼動画から関節物体のデジタルツインを構築3D再構成2025/9/1
単眼動画から関節物体の形状・部位分割・関節パラメータを同時に復元し、高精度なデジタルツインを構築する手法を提案。
- Aegis: マルチエージェントシステムのための自動エラー生成と帰属マルチエージェント2025/9/1
LLMベースのマルチエージェントシステムにおいて、成功軌道に文脈依存のエラーを注入して大規模なエラー帰属データセットを自動生成し、教師あり・強化学習・対照学習でエラー原因エージェントを特定する手法を提案。
- ロボットとシーンの運動学を統合した逐次移動マニピュレーション計画移動マニピュレーション2025/8/1
環境構造を運動学モデルとして取り込み、ロボットとシーンの統合配置空間で計画することで、関節物体を含む長期的な移動マニピュレーションを実現する枠組みを提案した。
- ControlVLA: 事前学習済み視覚言語行動モデルのための少数ショット物体中心適応VLA2025/6/1
ControlNet風のアーキテクチャで物体中心表現を導入し、10〜20回のデモンストレーションだけで多様な実世界操作タスクに適応できるフレームワークを提案。
- MetaScenes: 実世界3Dスキャンからの自動レプリカ生成に向けてsim2real2025/5/1
実世界スキャンから構築した大規模シミュラブル3DシーンデータセットMetaScenesと、アセットを自動置換するマルチモーダル整合モデルScan2Simを提案し、ロボット操作とVLNのベンチマークで有効性を示した。
- 微分可能情報を活用したモデルベース強化学習の強化モデルベース強化学習2025/3/1
微分可能環境の情報を活用し、Sobolev損失でモデル予測精度を高め、混合長さの切り詰め学習で方策勾配の分散を抑えるMBRL手法MB-MIXを提案。ヒューマノイド制御や変形物体操作で既存手法を上回る。
- ArtGS: ガウシアンスプラッティングによる複雑な関節物体の操作可能なレプリカ構築3D再構成/関節物体2025/2/1
3Dガウシアンを用いて複数パーツの関節物体を異なる状態間で統合し、パーツメッシュ再構成と関節パラメータ推定を高精度・高効率で行う手法を提案。
- ロボットハンド全体への高解像度触覚埋め込みによる適応的な人間らしい把持触覚2024/12/1
表面の70%に0.1mm解像度の触覚センサを備えた生体模倣ハンドを開発し、生成アルゴリズムと組み合わせることで、動的な実環境での把持性能が触覚なしの場合より大幅に向上することを示した。
- M3Bench:3Dシーンにおけるモバイルマニピュレーションの全身動作生成ベンチマークモバイルマニピュレーション2024/10/1
3Dシーンで物体を並べ替える全身動作軌道を生成するモバイルマニピュレーションの新ベンチマークM3Benchを提案し、自動データ生成ツールと物理シミュレーション評価を提供する。
- M2Diffuser: 3Dシーンにおけるモバイルマニピュレーションのための拡散ベース軌道最適化モバイルマニピュレーション2024/10/1
ロボット中心の3Dスキャンから移動と操作を統合した全身軌道を拡散モデルで生成し、推論時に物理制約とタスク目的を最適化する手法を提案。20以上のシーンで既存手法を上回り、実機転移も成功。
- InterPreT: 言語フィードバックからの対話的述語学習による汎化可能なタスクプランニングタスクプランニング2024/5/1
人間の非専門家による言語フィードバックから記号述語と作用素を学習し、PDDLに変換してロボットの長期タスクプランニングを実現するLLMベースのフレームワーク。
- Ag2Manip: エージェント非依存の視覚・行動表現による新規マニピュレーションスキルの学習マニピュレーション2024/4/1
人間の操作動画からエージェント非依存の視覚表現と、ロボットの運動学を汎用エージェント代理に抽象化した行動表現を学習し、ドメイン固有のデモなしで新規マニピュレーションタスクの性能を大幅に向上させた。
- LLM³: 動作失敗の推論を組み込んだ大規模言語モデルベースのタスク・動作計画マニピュレーション2024/3/1
大規模言語モデルを使ってタスク計画と動作計画を橋渡しし、動作計画の失敗フィードバックをプロンプトで与えて提案を反復改善する、ドメイン非依存のTAMPフレームワークを提案した。
- 3D世界における身体性を持つ汎用エージェントVLA2023/11/18
3D世界での知覚・推論・計画・行動を統合的に行うマルチモーダル汎用エージェントLEOを提案し、3D視覚言語アライメントと視覚言語行動指示チューニングの2段階で訓練して多様なタスクでの性能を示した。
- Sim2Plan: シミュレーションと現実間のメッセージパッシングによるロボット動作計画sim2real2023/7/1
シミュレーションと実環境の情報ギャップを埋めるため、シーン理解・ロボット計画・性能検証の3モジュールからなるメッセージパッシング型フレームワークを提案し、コーヒー淹れタスクで有効性を示した。
- パーツレベルシーン再構成によるロボットインタラクションの実現シーン再構成2023/7/1
物体をプリミティブ形状でパーツ単位に再構成し、関節関係を推定することで、ロボットが操作可能なインタラクティブシーンを高精度に再現する手法を提案した。
- ARNOLD: 実環境3Dシーンにおける連続状態を考慮した言語接地型タスク学習ベンチマーク言語条件付き操作2023/4/1
物体の連続的な状態を扱う言語指示タスクのベンチマークARNOLDを提案し、既存の言語条件付き操作モデルが新しい目標状態やシーン・物体への汎化に苦戦することを示した。
- 人間とロボットの共活動のための屋内家具配置最適化シーン再配置2023/3/1
SUNCGとConceptNetから抽出した空間的・意味的共起関係を利用し、人間の活動を損なわずにロボットの可動空間と到達可能物体を増やす家具配置を最適化するフレームワークを提案した。
- 物理・仮想把持を再現する再構成可能データグローブ触覚2023/1/1
触覚センシング・VR・FEMシミュレーションの3モードで手指の把持動作をリアルタイムに再現する再構成可能なデータグローブを開発した。
- シーングラフ上の逐次マニピュレーション計画マニピュレーション2022/7/1
接触グラフ+という3Dシーングラフ表現を提案し、グラフ編集距離と遺伝的アルゴリズムを用いて複雑な物体再配置タスクの逐次計画を実現した。
- 強化学習による人間レベルの両手巧みな操作に向けてマニピュレーション2022/6/1
認知科学の発達段階に沿った数千の物体・両手操作タスクを備えたベンチマークBi-DexHandsをIsaac Gym上に構築し、各種強化学習アルゴリズムを網羅的に評価した。
- 物理効果の理解による効果的な道具使用マニピュレーション2022/6/1
FEMシミュレータと記号回帰を用いて道具使用の物理特性を抽出し、最適制御で効率的な動作計画を生成するフレームワークを提案。
- 移動マニピュレーションのための効率的タスク計画:仮想運動連鎖の視点タスク計画2021/8/1
移動ベース・アーム・対象物の運動学を仮想運動連鎖として統合し、抽象行動の定義と不要な述語の削減によりタスク計画の探索空間と分岐を大幅に縮小する手法を提案した。
- 移動マニピュレーションのための運動学モデル統合による協調動作生成移動マニピュレーション2021/8/1
移動台車・アーム・対象物体の運動学を仮想キネマティックチェーンとして統合し、軌道最適化で協調的な移動マニピュレーション計画を実現した研究。
- 微分可能なフォースクロージャ推定器による任意のハンド構造での多様かつ物理的に安定な把持の合成把持生成2021/4/1
フォースクロージャを高速に微分可能な形で推定する手法を提案し、訓練データなしで任意のハンド構造に対し多様で物理的に安定な把持を合成できるようにした。
- 混雑度を考慮したマルチエージェント軌道予測による衝突回避軌道予測2021/3/1
混雑パターンを文脈手がかりとして学習し、教師あり学習と最適化を組み合わせて衝突のない軌道予測を生成するフレームワークを提案した。
- できることを見せて:人間とロボットの協働のための到達可能作業空間の能力キャリブレーション人間ロボット協働2021/3/1
少数のデモンストレーションで人間がロボットの到達可能範囲を正しく認識できるよう校正する手法を提案し、協働作業の効率向上を示した。
- パノプティックマッピングとCADモデル整合によるインタラクティブ3Dシーン再構成3Dシーン再構成2021/3/1
RGB-Dデータから物体の意味・形状と物理的常識を統合し、パーツ単位の関節付きCADモデルで置き換えることで、ロボットが操作可能なインタラクティブ3Dシーンを自動構築する手法を提案した。
- 重み付きエントロピーによるSoft Actor-Criticの改良強化学習2020/11/1
状態行動ペアに質的な重みを導入して最大エントロピー原理を重み付きエントロピーに一般化し、自己バランス型の探索を実現するSoft Actor-Criticアルゴリズムを提案した。MuJoCoタスクで最先端性能を達成。
- 共有拡張現実ワークスペースにおける人間とロボットの双方向インタラクションHRI2020/7/1
人間とロボットが同じAR空間を共有し、ロボットが人間の視線や姿勢から意図を推測して仮想物体を能動的に操作できるHRIシステムを構築し、資源収集ゲームで有効性を評価した論文。
- 協調作業における心のモデリングを用いた説明生成HRI2020/7/1
人間とロボットの協調作業で、ロボットがユーザの心的状態をベイズ推論し、自身の意図を説明することで協調性能と印象を向上させる枠組みを提案した。
- 物体状態・ロボット知識・人間の(誤)信念の統合推論信念推論2020/4/1
物体状態・ロボット知識・人間の(誤)信念をグラフィカルモデルで統一的に表現し、複数視点のパースグラフを統合推論することで人間の信念認識と物体追跡精度を向上させた研究。
- VRGym:物理的・対話的AIのための仮想テストベッドsim2real2019/4/1
物理ベースのシミュレーションで多様な3Dシーンを生成し、人間の操作データ収集やROS連携、人間-ロボット対話実験、機械学習アルゴリズムの訓練を可能にするVRテストベッドを提案した。
- 人間のインタラクション動画から社会的アフォーダンス文法を学習しヒューマノイドへ転移ヒューマンロボットインタラクション2017/3/1
RGB-D動画から人間同士の相互作用を時空間AND-ORグラフとして弱教師あり学習し、ヒューマノイドのリアルタイム動作推論に転移する枠組みを提案した。
- 人間活動動画から学ぶ社会的アフォーダンスヒューマンロボットインタラクション2016/4/1
人間同士のインタラクション動画から身体部位の動きや空間関係を弱教師あり学習し、ロボットが人間の動きに反応して自然に動けるようにする手法を提案した論文。
