Shuran Song
Stanford University
収録論文 122本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- BATCH: 人間からロボットへの行動アライメントによる異形態間学習異形態間学習2026/11/6
人間とロボットの行動を自己教師ありの時間表現とサイクル一貫性で対応付け、映像行動拡散モデルで異形態間の操作スキル転移を実現した研究。
- 検証損失を超えて：ロボット方策の事前学習におけるカバレッジと信頼性のダイナミクスロボット方策事前学習2026/11/1
ロボット方策の事前学習で、pass@1では見えない大規模kのpass@kが事後学習性能の差やカバレッジと信頼性のトレードオフを明らかにし、オフラインのチェックポイント選択基準と生成データ拡張を提案した。
- クロノスポリシー：物理時間に基づくロボット政策の学習VLA2026/10/9
観測時刻と行動実行時刻を明示的に条件付け、時間認識型RoPEを導入することで、可変レートや遅延に頑健な拡散トランスフォーマーポリシーを実現した。
- PanTact: ウェアラブル接触インターフェースで全身器用さを教える全身マニピュレーション2026/10/8
ロボットを使わない人間のデモンストレーションから、接触情報を介してヒューマノイドの全身マニピュレーションを学習するシステムを提案。
- EigenDEXplore: 人間の事前知識を活用した構造的探索による巧みなマニピュレーションマニピュレーション2026/10/6
人間の手の動作から得た固有ベクトルに沿ってノイズを加えることで、関節空間の探索を構造化し、巧みなマニピュレーションの強化学習性能を向上させる手法を提案。
- Mulligan: 効率的なオンボット学習のための性能誘導型データ収集模倣学習2026/10/5
ロボットの模倣学習において、失敗しやすい初期状態を優先的に収集するデータ収集法を提案し、実世界タスクで成功率を10-34ポイント改善した。
- 蛍光強化ヒゲアレイと視覚的変形解析による水中音源定位触覚2026/10/5
蛍光を発する5本のヒゲをアレイ状に配置し、カメラで変形を読み取ることで、水中の流体力源の位置を推定するシステムを開発した。
- NEEDLEWORK: 検証済み局所ステッチによるロボットデータのオフライン書き換えデータ拡張/模倣学習2026/10/1
RGB画像と固有感覚のみを用いて、ロボットのデモンストレーション間に短く検証済みの行動ブリッジをオフラインで追加し、失敗軌道も活用してデータ拡張する手法を提案。実機タスクで成功率を平均21ポイント改善した。
- 連続ロボット学習のためのメモリアンカー連続学習2026/8/27
ロボットが新しいタスクを学習しても過去のタスクを忘れないようにするため、リプレイバッファ内の重要経験（メモリアンカー）を特定し、それを活用することで破滅的忘却を大幅に軽減する手法を提案した。
- Handroid: 器用な手とヒューマノイドを橋渡しする再構成可能ロボットヒューマノイド/器用操作/再構成ロボット2026/7/1
27自由度の電動ボディを器用な手または卓上ヒューマノイドとして再構成できる小型ロボットを開発し、操作・移動・再構成を含む長期的タスクを実証した。
- ModPack: 双腕移動操作のための拡張可能な遠隔操作インターフェース遠隔操作2026/7/1
多様なロボットとタスクに対応するモジュール式遠隔操作システムを開発し、異なるプラットフォームでの実証とオープンソース化を行った。
- ROSA: ロボット工場向けロボティクス基盤モデル配信システムシステム/基盤モデル配信2026/7/1
ロボット工場向けに、複数ロボットが共有GPUプールで基盤モデルを効率的に利用できる配信システムを提案し、工場生産性を最大12倍向上させた。
- Transformer Transformer: 動作条件付きロボット共設計のための統一モデルロボット設計2026/7/1
ロボットの設計と制御を統一的に扱う拡散トランスフォーマーを提案し、目標軌道を追従するロボット設計を生成する。
- フレーム混合ポリシー：双腕移動操作のためのマルチフレーム行動ノイズ除去拡散ポリシー/双腕操作/移動操作2026/7/1
拡散ベースの視覚運動ポリシーにおいて、複数の座標フレームで同期して行動ノイズ除去を行う新しい手法を提案し、シミュレーションと実機の双腕移動操作タスクで性能を実証した。
- ロボット操作の堅牢性：基礎と最前線マニピュレーション2026/6/1
ロボット操作における堅牢性の定義を明確化し、確率論的・制御理論的観点から定式化、各モジュールでの実現機構を整理し、評価方法と将来課題を論じたサーベイ論文。
- 行動プロンプト方策：操作のためのデモンストレーションをプロンプトとして活用マニピュレーション2026/6/1
単一の人間のデモンストレーションをプロンプトとして用い、推論時に新しいタスクを実行できるロボットのパラダイムを提案。新しいアーキテクチャ、データ収集インターフェース、評価ベンチマークを導入し、微調整なしで新しいスキルを教える柔軟な方法を示した。
- 多感覚継続学習：事前学習済み視覚運動ポリシーの力覚への適応継続学習/力覚/ロボット操作2026/6/1
事前学習済みの視覚のみのロボットポリシーに、力覚などの新しいモダリティを追加し、元のタスク性能を保ちながら接触を伴う新タスクへ適応させる手法を提案した。
- 1つのデモは千の軌道に値する：視運動ポリシーのためのアクション・ビュー拡張データ拡張2026/6/1
実世界のデモから魚眼画像シーケンスと物理的に実現可能なアクション軌道を生成するデータ拡張フレームワークを提案し、シミュレーションと実世界で操作タスクの成功率を向上させた。
- DF-ExpEnse: 拡散フィルタ探索によるサンプル効率的なファインチューニング強化学習/探索2026/6/1
事前学習済みの生成制御ポリシーをオンライン経験でファインチューニングする際、探索の質を高めてサンプル効率を向上させる手法を提案。
- PanoVine: ソフト成長型つるロボットの全身視覚運動制御ソフトロボティクス/視覚運動制御2026/6/1
つるロボットの全身にカメラを配置し、デモから学習したエンドツーエンドの視覚運動ポリシーで複雑環境での自律ナビゲーションと操作を実現した。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- ロボットトレーナーは人に楽しまれるか？ペーサーロボットSnoopieのケーススタディヒューマンロボットインタラクション2026/4/1
四足歩行ロボットがランニングのインターバルトレーニングのペーサーとして機能し、ウェアラブル端末と比較してペース順守率と一貫性が向上し、ユーザーにも好意的に受け入れられることを示した。
- EgoVerse：世界各地から収集したロボット学習用の自己中心視点人間データセットデータセット/模倣学習2026/4/1
人間の自己中心視点のデモデータを大規模に収集・共有するプラットフォームとデータセットを構築し、人間データからロボットへの転移学習の大規模実験を行った。
- ゲート付きメモリポリシー：文脈内記憶と適応マニピュレーション2026/4/1
ロボット操作タスクの記憶要件に応じて、履歴を選択的に記憶・想起する視覚運動ポリシーを提案。メモリゲートと軽量クロスアテンションにより、非マルコフ的タスクで性能を向上させた。
- 事前学習から熟達へ：分布収縮型強化学習による効率的なスキル習得強化学習/操作2026/3/1
事前学習済みの生成ロボットポリシーを、分布収縮型強化学習（DICE-RL）で微調整し、高成功率の行動を増幅して高性能な「プロ」ポリシーへと進化させる手法を提案。シミュレーションと実機で高次元ピクセル入力からの複雑な長期的操作スキルの習得を実証した。
- UMI-Underwater: 水中テレオペレーションなしで水中マニピュレーションを学習するマニピュレーション2026/3/1
自己教師ありデータ収集と陸上デモからの知識転移により、水中ロボットの把持を学習するシステムを提案。
- HoMMI: 人間のデモンストレーションから全身移動マニピュレーションを学習移動マニピュレーション2026/3/1
ロボットを使わずに人間のデモンストレーションから全身移動マニピュレーションを学習するデータ収集・方策学習フレームワークを提案し、自己中心視センシングと身体差を埋めるハンド・アイ方策設計により長期的な移動操作タスクを実現した。
- 最小限のコンプライアンス制御コンプライアンス制御2026/3/1
力センサや学習を使わず、モータの電流・電圧信号のみで外部力を推定し、タスク空間アドミッタンス制御に組み込むことで、多様なロボットで安全なコンプライアンス動作を実現する手法を提案した。
- SAGE: 身体性AIのためのスケーラブルなエージェント型3Dシーン生成sim2real2026/2/1
ユーザーが指定した身体性タスクを理解し、複数の生成器と評価器を組み合わせて物理的に妥当でシミュレータ対応の3D環境を自動生成するエージェントフレームワークを提案。
- 基盤モデルはロボティクスにおけるフルスタック転移への道か？転移学習2026/2/1
ロボティクスにおける転移学習を言語から運動技能までの階層で整理し、基盤モデルやTransformerが「フルスタック転移」にどう貢献するかを概観した記事。
- UMI-FT：実環境でのコンプライアントマニピュレーションマニピュレーション2026/1/1
指先に6軸力覚センサを搭載したハンドヘルドデータ収集デバイスUMI-FTを開発し、力加減が重要な接触作業を実世界デモから学習できる適応型コンプライアンス方策を訓練した。
- Cosmos Policy: 視覚運動制御と計画のための動画モデル微調整VLA2026/1/1
大規模事前学習済み動画モデルを、アーキテクチャ変更なしの一段階の追加学習だけでロボット方策に変換し、行動・将来画像・価値を潜在フレームとして生成して計画も可能にした手法。
- 足に頼らないロコモーション歩行2026/1/1
人型ロボットが手や膝、肘も使って複雑な地形を移動する全身運動システムを、物理ベースのキーフレームアニメーションと強化学習を組み合わせて実現した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- UMI-on-Air: 機体特性を考慮した汎用視覚運動ポリシーの空中マニピュレーション展開空中マニピュレーション2025/10/1
手持ちグリッパで収集した人間の操作データから汎用視覚運動ポリシーを学習し、拡散サンプリングに制御器の追従コスト勾配を組み込むことで、空中マニピュレータなど制約の強い機体でも動的に実行可能な軌道を生成する手法を提案した。
- ロボットがロボットを訓練：ヒューマノイドのための実世界ポリシー自動適応と学習sim2real2025/8/1
ロボットアームの教師がヒューマノイドの生徒を保護・誘導しながら、実世界で効率的に強化学習を行うフレームワークを提案し、歩行速度追従や起き上がり動作で有効性を示した。
- 潜在ポリシーバリア：分布内に留まることで堅牢な視覚運動ポリシーを学習するVLA2025/8/1
専門家デモの潜在表現を障壁として扱い、拡散ポリシーとダイナミクスモデルを組み合わせて、追加の人間修正なしに視覚運動ポリシーの堅牢性とデータ効率を向上させるフレームワークを提案。
- ロボット操作のための幾何学認識4D動画生成VLA2025/7/1
複数視点の点群整合性を訓練時に監督することで、単一RGB-D画像から時空間的に整合した未来動画を生成し、ロボットの操作軌道復元に応用する4D動画生成モデルを提案。
- 整流点フロー：汎用的な点群姿勢推定点群姿勢推定2025/6/1
点群のペア位置合わせとマルチパーツ形状組み立てを単一の条件付き生成問題として定式化し、点ごとの速度場を学習して部品姿勢を復元する手法を提案。
- 行動の中の視覚：人間の実演から能動的知覚を学ぶマニピュレーション2025/6/1
6自由度のロボット首とVRテレオペレーションを用いて、人間の能動的知覚戦略を実演から直接学習し、視覚遮蔽を含む両腕マニピュレーションタスクで高い性能を達成した。
- コンプライアント残差DAgger：人間の修正による実世界の接触を伴うマニピュレーションの改善マニピュレーション2025/6/1
人間がロボットの動作を止めずに力加減を調整しながら修正を加えられるインターフェースと、力フィードバックを組み込んだ残差方策を提案し、接触の多い繊細な作業の成功率を大幅に向上させた。
- DynaGuide: 動的ガイダンスによる拡散ポリシーの能動的制御VLA2025/6/1
拡散ポリシーの生成過程に外部のダイナミクスモデルからのガイダンスを注入することで、追加学習なしに既存ポリシーを多様な目的へ誘導できる手法を提案。
- DexUMI：人間の手を汎用マニピュレーションインターフェースとして使う巧みな操作マニピュレーション2025/5/1
人間の手の動きをウェアラブル外骨格と映像インペインティングでロボットハンドに転移し、巧みな操作スキルを学習させるデータ収集・方策学習フレームワークを提案。
- 拡散ポリシーに对称性を組み込むための実践的ガイドVLA2025/5/1
拡散ポリシーに完全な同変設計を必要とせず、不変表現や同変視覚エンコーダ、フレーム平均化などの実践的手法で対称性の利点を組み込む方法を検討し、その有効性を実験的に示した。
- DexMachina：両手巧みな操作のための機能的リターゲティングマニピュレーション2025/5/1
人間の両手による物体操作のデモンストレーションから、関節物体を長期的に操作する巧みなロボットハンドのポリシーを学習する手法を提案。仮想物体コントローラを徐々に弱めるカリキュラム学習により、人間とロボットの身体性ギャップを克服する。
- 統合動画行動モデルVLA2025/3/1
動画と行動を統合的に学習し、推論時は動画生成を省略して高速に行動を予測できるロボティクス向けモデルを提案。
- BEHAVIORロボットスイート：日常家事のための実世界全身マニピュレーションを効率化全身マニピュレーション2025/3/1
両腕・車輪・4自由度胴体を備えたロボットで、全身遠隔操作インターフェースと視覚運動ポリシー学習アルゴリズムを統合し、家庭内の全身マニピュレーションタスクを実現するフレームワークを提案。
- 介護タスクにおけるソフトロボティクスの知覚的安全性に関する研究ソフトロボティクス2025/3/1
入浴など身体接触が不可避な介護場面を想定し、正負圧を組み合わせた3Dプリント製ソフトグリッパを設計。硬質グリッパより低く均一な圧力で把持でき、実演後に参加者のロボットへの信頼が有意に向上した。
- Cosmos-Reason1：物理的常識から身体性推論へVLA2025/3/1
物理世界を理解し、長い思考連鎖を通じて自然言語で身体的行動決定を生成するマルチモーダル大規模言語モデルCosmos-Reason1を提案し、物理的常識と身体性推論のベンチマークで評価した。
- ToddlerBot: 移動操作のためのオープンソース機械学習対応ヒューマノイドプラットフォームヒューマノイド2025/2/1
低コストでオープンソースの小型ヒューマノイドロボットToddlerBotを開発し、シミュレーションから実世界へのゼロショット転移や遠隔操作によるデータ収集を可能にした。
- RoboPanoptes: 全身視覚で全身巧緻性を実現する全方位ロボット全身マニピュレーション2025/1/1
ロボット表面に分散配置したカメラによる全身視覚と、全身を使った操作を可能にする視覚運動ポリシーを組み合わせ、狭所での開梱や大型物体の掃き寄せなど多様なタスクを実現した。
- TidyBot++: ロボット学習のためのオープンソース全方向移動マニピュレータ移動マニピュレーション2024/12/1
模倣学習による家庭内移動マニピュレーションのデータ収集を容易にするため、動力付きキャスタで全方向移動を実現し、任意のアームを搭載できる低コストなオープンソース移動マニピュレータを提案した。スマホ遠隔操作インタフェースで収集したデータから学習した方策が家庭内タスクを実行できることを示した。
- 自己改善型の自律水中マニピュレーション水中マニピュレーション2024/10/1
人間のデモからの行動クローニングと自己学習最適化を組み合わせ、水中で物体把持・ゴミ分別・救助回収を自律遂行し、人間の遠隔操作より41%高速化したシステムAquaBotを開発した。
- 微分可能ロボットレンダリングsim2real2024/10/1
ロボットの見た目を制御パラメータで微分可能に描画する手法を提案し、画像からの姿勢復元や視覚言語モデルによる制御に応用した。
- 適応コンプライアンスポリシー：拡散誘導制御のための近似コンプライアンス学習マニピュレーション2024/10/1
人間のデモから操作タスクに応じて空間的・時間的にシステムのコンプライアンスを動的に調整する枠組みを提案し、接触の多い複雑な操作タスクで従来の視覚運動ポリシーを50%以上上回る性能を達成した。
- 意味的に制御可能な拡張による汎化可能なロボット学習sim2real2024/9/1
画像テキスト生成モデルをデータ拡張に活用し、ロボット操作データを多様化することで、未見の実環境への汎化を可能にする学習フレームワークを提案した。
- 脚付きUMI：操作中心の全身コントローラによる移動型マニピュレーションマニピュレーション2024/7/1
手持ちグリッパで実世界の操作データを収集し、シミュレーションで全身コントローラを訓練して、四足歩行ロボットに操作スキルを実装するフレームワークを提案。
- EquiBot: 汎化性とデータ効率を両立するSIM(3)同変拡散ポリシーマニピュレーション2024/7/1
拡散ポリシーにSIM(3)同変なネットワークを組み合わせ、スケール・回転・並進の変化に不変なロボットマニピュレーション方策を実現した。各タスク5分の実演だけで新しい物体や環境に汎化できる。
- 操作インターフェースとしてのフロー：Im2Flow2Actsim2real2024/7/1
物体の動き（フロー）を人間とロボットの共通インターフェースとして使い、人間の動画とシミュレーションのロボットデータだけで実世界の多様な操作スキルを獲得する学習フレームワーク。
- GET-Zero: 身体構造グラフを考慮したTransformerによるゼロショット身体汎化マニピュレーション2024/7/1
身体構造のグラフ接続をTransformerの注意機構に組み込み、ハードウェア構成の変化に再学習なしで適応できる制御方策を実現した研究。指の欠損やリンク長変更にもゼロショットで汎化し、ベースラインを20%上回った。
- Dreamitate: 動画生成による実世界視覚運動ポリシー学習VLA2024/6/1
動画拡散モデルを人間の実演で微調整し、新しい場面の画像から生成した実行動画でロボットを直接制御することで、既存の行動クローニングより高い汎化性能を実現した。
- ManiWAV: 実環境の音声・視覚データからロボットマニピュレーションを学習マニピュレーション2024/6/1
手に装着する「耳」型デバイスで人間の実演を音声・視覚同期で収集し、接触の多いロボット操作スキルを実演から直接学習する手法を提案した。
- ContactHandover: 接触誘導によるロボットから人への物体受け渡しマニピュレーション2024/4/1
ロボットが人に物体を渡す際、人が持ちやすい接触点を塞がない把持姿勢を選び、受け渡し時には人の負担が小さくなる手先姿勢を計画するシステムを提案した。
- DoughNet: 変形物体のトポロジー操作のための視覚予測モデル変形物体操作2024/4/1
生地のような弾塑性物体の分割・融合を伴うトポロジー変化を潜在空間で予測し、ロボットによる操作計画を可能にするTransformerベースのモデルを提案。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- PaperBot：紙で実世界の道具を設計する学習マニピュレーション2024/3/1
紙を折る・切る・投げる動作を自己教師あり学習で最適化し、紙飛行機や紙グリッパーを実機ロボットで設計・使用する手法を提案。
- 動力学誘導拡散モデルによるセンサレスロボットマニピュレータ設計マニピュレーション2024/2/1
物体形状とタスク仕様から、センサなしで開ループ動作により物体を操作できるマニピュレータ設計を生成する拡散モデルベースのフレームワークを提案。
- ユニバーサル・マニピュレーション・インターフェース：実環境ロボットなしで実環境教示を実現マニピュレーション2024/2/1
手持ちグリッパで人間の実環境デモを収集し、ハードウェア非依存のロボット方策を学習するフレームワークUMIを提案。両手・動的・精密・長期的タスクをゼロショットで汎化可能。
- 粒状媒体中の物体を触覚で探索・把持するロボットシステムGEOTACT触覚2024/2/1
触覚フィードバックのみを用いた学習により、粒状環境に埋もれた未知形状の物体を把持・回収するロボットシステムを開発し、実機へのゼロショット転移を実現した。
- ロボティクスにおける基盤モデル：応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- DeformGS: 高変形シーンにおけるシーンフローと変形物体操作変形物体操作2023/12/1
複数カメラの動画からガウシアンスプラッティングと変形関数を学習し、布などの高変形物体の密な3D追跡（シーンフロー）を実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- RoCo: 大規模言語モデルによる対話型マルチロボット協調マルチロボット協調2023/7/1
事前学習済み大規模言語モデルを活用し、複数ロボットが対話を通じて協調しながらタスク計画と経路計画を行う手法を提案。6種類の協調タスクベンチマークRoCoBenchで高い成功率を示し、人間との協調も可能。
- 汎用部品組み立てのための再配置計画マニピュレーション2023/7/1
未知の部品形状から新しい組み立て対象を作る「汎用部品組み立て」に向け、Transformerで各部品の目標姿勢を予測するGPATを提案し、3D CADと実スキャンで汎化性能を示した。
- スケールアップと蒸留：言語誘導によるロボットスキル獲得VLA2023/7/1
LLMで計画し多様な操作軌道を大量生成、失敗検知と自動ラベリングを行い、言語条件付きマルチタスク拡散方策へ蒸留する枠組みを提案。
- XSkill: 身体を超えたスキル発見模倣学習2023/7/1
人間とロボットの操作動画から身体差を超えたスキル表現を発見し、条件付き拡散方策でロボット動作に転移、未見タスクを人間のプロンプト動画で指示して実行する模倣学習フレームワーク。
- REFLECT: ロボット経験の要約による失敗説明と修正失敗解析/LLM推論2023/6/1
マルチセンサ観測からロボットの過去経験を階層的に要約し、LLMで失敗原因を推論して言語ベースのプランナが修正できるようにするフレームワークREFLECTを提案し、RoboFailデータセットで評価した。
- TidyBot: 大規模言語モデルによる個別化されたロボット支援マニピュレーション2023/5/1
大規模言語モデルを活用し、少数の例からユーザーの好みを学習して家庭内の片付けを個別化するロボットシステムを開発した。
- Pick2Place: 配置タスクを考慮した物体中心の視点アフォーダンスによる6DoF把持推定マニピュレーション2023/4/1
配置シーンの視点画像から配置アフォーダンスを予測し、把持と配置の対応関係を利用してタスクに適した6DoF把持を推定する手法を提案。実機・シミュレーションで89%以上の成功率を達成。
- 拡散ポリシー：行動拡散による視覚運動ポリシー学習VLA2023/3/1
ロボットの視覚運動ポリシーを条件付きノイズ除去拡散過程として表現し、12タスクで平均46.9%の性能向上を達成した。
- 不確実性を考慮した強化学習によるヒューマン・イン・ザ・ループ型ロボットエージェントの意思決定強化学習2023/3/1
強化学習を用いて、ロボットがタスク成功への自信が低い時にのみ外部専門家に援助を求める手法を提案し、限られた援助回数で効率的にナビゲーションタスクを解決できることを示した。
- 学習されたメタコントローラによる動的把握マニピュレーション2023/2/1
強化学習でメタコントローラを学習し、動的把握における予測の先読み時間と計画の時間予算を適応的に調整することで、成功率を最大28%向上させた。
- RoboNinja: 多素材物体のための適応的切断ポリシーの学習マニピュレーション2023/2/1
柔らかい部分と硬い芯を持つ物体（例：アボカド）を対象に、芯を傷つけずに軟部のみを切断する適応的切断ポリシーを学習するシステムを提案。微分可能な切断シミュレータと力覚センサによる衝突フィードバックを活用し、実機で展開した。
- CACTI：スケーラブルなマルチタスク・マルチシーン視覚模倣学習のためのフレームワーク模倣学習2022/12/1
データ収集・拡張・視覚表現学習・模倣方策訓練の4段階からなるロボット学習フレームワークCACTIを提案し、実世界のキッチンで10タスク、シミュレーションで18タスク×100レイアウトの単一方策を効率的に訓練できることを示した。
- 布のファネル：多目的衣類操作のための正規化アライメント変形物体マニピュレーション2022/10/1
任意の配置の衣類を、下流タスクに適した構造化された姿勢へと整える「正規化アライメント」タスクを提案し、動的投げと準静的ピック&プレースを組み合わせた多腕ポリシーを学習して、実機のアイロンがけ・折りたたみで有効性を示した。
- 袋詰めこそがすべて：異種物体のための汎化可能な袋詰め戦略の学習マニピュレーション2022/10/1
剛体と変形物体を混在させて袋に詰める「異種袋詰め」タスクに対し、並べ替え方策と持ち上げ方策を学習し、実機の3本腕ロボットで70%の成功率を達成した研究。
- TANDEM3D：3D物体認識のための能動的触覚探索触覚2022/9/1
触覚信号を用いた3D物体認識のため、探索と意思決定を共訓練するフレームワークを提案し、シミュレーションで学習して実機で検証した。
- BusyBot: ビジーボード環境で相互作用・推論・計画を学習するマニピュレーション2022/7/1
多様な可動物体と物体間の機能的関係を持つ玩具風ロボット環境BusyBoardを構築し、相互作用・因果推論・計画を自己教師ありで統合的に学習するフレームワークBusyBotを提案した。
- セマンティック抽象化：2D視覚言語モデルによるオープンワールド3Dシーン理解3Dシーン理解2022/7/1
CLIPの関連度マップを抽象化に用いて2D視覚言語モデルに3D空間推論能力を付与し、未知語彙や実世界スキャンにも汎化するオープンワールド3Dシーン理解フレームワークを提案した。
- FishGym：水中ロボット学習のための高性能物理ベースシミュレーションフレームワークsim2real2022/6/1
魚型水中ロボットの学習用に、関節体モデリング・GPUベースの流体構造連成シミュレーション・強化学習を統合したプラットフォームFishGymを提案し、複数のベンチマークタスクで制御方策を学習した。
- 移動式ブロワによる空気圧非把持マニピュレーションの学習非把持マニピュレーション2022/4/1
小型送風機を搭載した移動ロボットで散らばった物体を目標容器へ吹き寄せるタスクを、空間アクションマップの多周波数版を用いた深層強化学習で実現し、実機へ転移させた研究。
- 触覚による探索と意思決定の同時学習フレームワークTANDEM触覚2022/3/1
触覚センサのみで物体を認識するため、探索行動と識別判断を別モジュールで協調学習させる手法を提案し、少ない接触回数で高精度かつノイズに頑健な認識を実現した。
- 反復残差ポリシー：変形物体の目標条件付き動的マニピュレーション変形物体マニピュレーション2022/3/1
変形物体を高速に操作して目標状態へ導くため、差分行動が軌道に与える影響を学習する反復残差ポリシーを提案し、ロープで的を打つ・布を目標姿勢へ振るタスクで実機への汎化を示した。
- DextAIRity：柔軟物操作は空気でお手軽に柔軟物操作2022/3/1
空気の吹き付け（アクティブエアフロー）を活用し、布の展開や袋開けといった柔軟物操作を自己教師あり学習で行う三腕ロボットシステムを提案した論文。
- 牧場のCoW：言語駆動ゼロショット物体ナビゲーションのベースラインとベンチマーク物体ナビゲーション2022/3/1
オープンボキャブラリモデルを微調整なしで物体ナビゲーションに適用するCLIP on Wheels（CoW）フレームワークを検討し、珍しい物体や属性・空間記述、隠れた物体を扱うPastureベンチマークを提案した。21のCoWベースラインをHabitat・RoboTHOR・Pastureで9万以上のエピソードにわたり評価した。
- 身体性AIのための連続的シーン表現シーン表現2022/3/1
空間を移動するエージェントが物体間の関係を連続値埋め込みで表現し、グラフ構造として動的に構築するシーン表現手法を提案。部屋の再配置タスクで既存手法を上回る。
- シーン編集によるテレオペレーション：6自由度キット組立の事例研究テレオペレーション2021/10/1
ロボット中心の操作画面を、実世界物体のデジタルツインを操作するシーン中心のインターフェースに置き換え、非専門家でも6自由度キット組立テレオペレーションを可能にする枠組みを提案した。
- 関節物体のための汎用操作ポリシーネットワークUMPNetマニピュレーション2021/9/1
単一画像から任意の関節物体を操作する閉ループ行動系列を推論するポリシーを提案し、自己誘導探索とArrow-of-Time属性により人間のデモなしで学習・汎化を実現した。
- 行動前に見ることを学ぶ：操作のための視覚事前学習マニピュレーション2021/7/1
視覚タスクで事前学習したモデルをアフォーダンス予測に転移することで、ロボット操作の汎化性能とサンプル効率が向上し、短時間の経験で新規物体の把持成功率約80%を達成した。
- FlingBot：布広げにおける動的マニピュレーションの驚くべき有効性変形物体マニピュレーション2021/5/1
視覚観測からピック・ストレッチ・フリングの動作を自己教師学習で習得し、双腕ロボットで布を効率的に広げる手法を提案。準静的動作のベースラインを大きく上回る性能を示した。
- 相手の視点取得による行動モデリング視覚予測2021/5/1
ロボットが他者の視点を推測し将来の行動を予測する視覚的視点取得と行動理論の枠組みを、かくれんぼを通じて実現した研究。
- GarmentNets：標準空間での形状補完による衣類のカテゴリレベル姿勢推定変形物体姿勢推定2021/4/1
折り畳みやしわで自己遮蔽された衣類の部分観測から、カテゴリ共通の標準空間で形状を補完し、頂点ごとの標準座標を持つ完全な3Dメッシュとして衣類の姿勢を推定する手法を提案した。
- マルチエージェント移動マニピュレーションのための空間意図マップマルチエージェント強化学習2021/3/1
分散型マルチエージェントの視覚ベース深層強化学習において、各エージェントの意図を俯瞰2Dマップとして他エージェントに共有する「空間意図マップ」を提案し、物体の受け渡しや衝突回避などの協調行動を改善した。
- 到達可能性と運動を考慮した動的グラスピングマニピュレーション2021/3/1
ロボットの到達可能性を符号付き距離場でモデル化し、対象物の運動を考慮した把持品質をニューラルネットで予測することで、動く物体に対するリアルタイム把持計画を実現した研究。
- 信頼度を考慮した意味的シーン補完による視覚意味ナビゲーションナビゲーション2020/12/1
未知環境で対象物体へ移動する視覚意味ナビゲーションのため、部分観測から未観測領域の意味ラベルと信頼度マップを推定するシーン補完モジュールを提案し、ナビゲーション方策の効率を向上させた。
- Sim2Real転送の現在地と展望：R:SS 2020ワークショップ報告sim2real2020/12/1
ロボティクス会議R:SS 2020のSim2Realワークショップでの討論・発表・議論をまとめ、シミュレーションから実世界へのスキル転送の定義や有効性、今後の課題を整理した報告書。
- ロボット操作のための3D動的シーン表現の学習3Dシーン表現2020/11/1
物体の永続性・非可視形状の完全性・時空間連続性を捉える3Dボリューム表現DSRと、複数回の観測を統合してこれを構築・更新するDSR-Netを提案し、モデル予測制御と組み合わせて押し操作などの計画精度を向上させた。
- AdaGrasp: グリッパ適応型把持ポリシーの学習マニピュレーション2020/11/1
グリッパ形状とシーン形状の畳み込みで把持位置とスコアを推定し、未知のグリッパにも汎化する単一の把持ポリシーを学習した研究。
- 分散型マルチアーム動作計画の学習マニピュレーション2020/11/1
マルチエージェント強化学習とBiRRTの専門家デモを組み合わせ、チーム規模に応じてスケールする分散型マルチアーム動作計画を実現した論文。
- Fit2Form：把持対象に合わせたロボットグリッパ形状を生成する3D生成モデル把持設計2020/11/1
把持対象ごとに最適な指形状を生成する3D生成設計フレームワークを提案し、把持成功・安定性・頑健性を予測するFitnessネットワークで生成モデルを学習させた。
- 空間行動マップによる移動マニピュレーション移動マニピュレーション2020/4/1
画像と同じ座標系のピクセルごとに行動を表す「空間行動マップ」を強化学習で学習し、物体を目標位置へ押す移動マニピュレーションを従来手法より高速かつ高精度に実現した。
- カテゴリレベル関節物体の姿勢推定姿勢推定2019/12/1
単一深度画像から未学習の関節物体インスタンスの姿勢を推定するため、関節を考慮した正規化座標空間階層(ANCSH)を提案し、PointNet++で部位分割・正規化座標・関節パラメータを予測する手法。
- 実環境での把持：低コスト実演から学ぶ6DoFクローズドループ把持マニピュレーション2019/12/1
低コストなハードウェアで人間の把持実演を収集し、action-viewレンダリングとQ関数を用いた強化学習で実ロボットに転移可能な6DoFクローズドループ把持モデルを学習した。
- 分解から組み立てを学ぶ形状プライアによる汎用キット組立マニピュレーション2019/10/1
キット組立を形状マッチング問題として定式化し、分解による自己教師ありデータ収集で物体と配置先の対応を学習、新しい物体やキットにも汎化する組立システムForm2Fitを提案した。
- 透明物体の3D形状推定によるロボットマニピュレーション透明物体認識2019/10/1
単一のRGB-D画像から透明物体の表面法線・マスク・遮蔽境界を深層学習で推定し、深度を補正して把持性能を向上させる手法ClearGraspを提案。
- 視覚的かくれんぼ：身体性エージェントによる追跡回避行動の学習強化学習2019/10/1
獲物と捕食者のエージェントが一人称視点の部分観測下でかくれんぼを学習し、獲物は障害物を利用して自分の可視性を予測しながら逃げる方策を獲得する。
- DensePhysNet：多段動的相互作用による密な物理物体表現の学習物体表現学習2019/6/1
物体を滑らせたり衝突させたりする動的相互作用を能動的に行い、その視覚観測から摩擦や質量などの物理特性を反映したピクセル単位の密な表現を学習する手法を提案した。
- TossingBot：残差物理で任意物体を投げる学習マニピュレーション2019/3/1
ロボットアームが試行錯誤を通じて任意物体を掴んで指定ボックスへ投げ入れるエンドツーエンド手法を提案し、物理シミュレータの予測に深層ネットワークで残差を補正することで高速かつ高精度な投擲を実現した。
- 押し動作と把持動作の相乗効果を自己教師あり深層強化学習で学習するマニピュレーション2018/3/1
把持と押し動作の相乗効果を、試行錯誤による自己教師ありQ学習でゼロから獲得し、散らかった環境での把持成功率と効率を向上させた研究。
- 多様な把持戦略と領域横断画像照合による混雑環境での新規物体ピック＆プレースマニピュレーション2017/10/1
カテゴリ非依存のアフォーダンス予測で4種の把持動作を使い分け、商品画像との照合で未知物体も認識するピック＆プレースシステムを構築し、2017年Amazonロボティクスチャレンジの収納タスクで優勝した。
- 多視点自己教師あり学習による6D姿勢推定：Amazon Picking Challengeへの応用6D姿勢推定2016/9/1
多視点RGB-Dデータと自己教師あり学習を組み合わせ、 clutter環境でも物体の6D姿勢を高精度に推定する手法を提案し、APC 2016で有効性を示した。
- ShapeNet：情報豊富な3Dモデルリポジトリ3Dデータセット2015/12/1
多様なカテゴリの3D CADモデルを大規模に収集し、形状の整列や部品、対称面、物理サイズなどの注釈を付与したデータセット基盤を構築した。
