Zsolt Kira
Georgia Institute of Technology
収録論文 47本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- FlowEval:実環境展開時に身体性基盤モデルはどれだけ適応が必要か基盤モデル適応2026/11/8
少数の成功デモンストレーションから、事前学習済み身体性基盤モデルが対象環境にどれだけ適合しているか・追加適応データがどれだけ必要かを、学習不要のフローマッチング指標で診断する手法を提案。
- Splat2Act: 撮影シーンから個別最適化されたVLAマニピュレーションへVLA2026/10/9
スマホで撮影した室内環境と物体画像から3D Gaussian Splattingでデジタルツインを構築し、把持タスクのデモを自動生成してVLA方策を個別環境に適応させるreal-to-sim-to-realパイプライン。
- CAPEX: 経験適応型推論による基盤モデル行動の展開可能なロボットポリシーへの効率的蒸留VLA2026/9/26
マルチモーダル基盤モデルを自律的な実演者として使い、過去の実行経験に応じて再計画の頻度を適応させることで、低コストでロボットポリシー学習用データを収集するフレームワークCAPEXを提案した。
- Opt2VLA: 接触の多いヒューマノイド全身マニピュレーションのための力認識型視覚-言語-行動モデルVLA2026/9/21
ヒューマノイドの全身操作において、VLAモデルが運動目標と接触力の指令を同時に予測し、強化学習ベースの全身制御器で追従する力認識型フレームワークを提案。軌道最適化で接触を考慮した訓練データを生成し、接触の多い3タスクで力の調整精度が向上することを示した。
- 私たちが見抜ける嘘:身体的社会的相互作用におけるVLMエージェントによる言語・非言語連携欺瞞VLA/社会的相互作用2026/8/31
3Dマルチモーダル環境『MineAmongUs』を構築し、VLMエージェントが言語と非言語行動を組み合わせて欺瞞を行う様子を分析。非言語チャネルが勝利に重要であることを示した。
- K9-Bench:犬中心の動画におけるマルチモーダルLLMの評価ベンチマーク2026/7/2
犬の行動理解に特化したベンチマークK9-Benchを構築し、907本の動画と約5000のQAペアを用いて、最先端のマルチモーダルLLMのゼロショット性能を評価した。
- ビデオからシミュレーション、そして実世界へ:単一の人間ビデオからの全自動器用スキル獲得器用操作/sim2real2026/6/1
単一の人間操作ビデオから、シミュレーション環境でのデジタルツイン構築と物体中心のキーフレーム最適化によりロボット動作を獲得し、さらに実世界のノイズや不完全な知覚への頑健性を分離するsim-to-real戦略で器用な操作スキルを自律的に獲得するフレームワークを提案した。
- SeeTraceAct: クロス身体性デモ動画からの可視性を考慮した潜在プランニングVLA2026/6/1
デモ動画1本で未知タスクを実行するVLAモデルを提案し、小さな対象領域の正確な位置決めを可能にする可視性を考慮した未来のエンドエフェクタ軌跡予測を導入。新ベンチマークと実機で性能を実証した。
- SafeManip: ロボット操作における時間的安全評価のためのプロパティ駆動型ベンチマーク操作/安全性評価2026/5/1
ロボット操作の安全性を時間的性質(例:汚染後の接触、完全な格納前の解放)に焦点を当てて評価するベンチマークを提案し、LTLfを用いて安全性を検証する。
- 軌跡の中のかくれんぼ:VLA実行時監視のための失敗シグナル発見VLA/失敗検出2026/5/1
軌跡レベルのラベルのみから、ステップ単位の注釈なしで失敗を示す行動を特定するフレームワークを提案し、VLAモデルの実行時失敗検出性能を向上させた。
- Sim2real画像変換による固定カメラデータからの視点ロバスト方策sim2real2026/1/1
固定カメラの実世界データとシミュレーションを組み合わせ、未見の視点でも頑健に動作するロボットマニピュレーション方策を実現する画像変換手法MANGOを提案。
- EVE: 生成的ポリシーのための生成器-検証器システムVLA2025/12/1
拡散・フローマッチングなどの生成的視覚運動ポリシーを、追加学習なしでテスト時にVLMベースの検証器群と組み合わせて性能を向上させるフレームワークEVEを提案。
- MAPS: モジュール別近接スケジューリングによる視覚言語表現の保持と視覚言語行動モデルの汎化向上VLA2025/11/1
VLAモデルのファインチューニング時に、モジュールごとに事前学習VLMへの近接制約を段階的に緩めるスケジューリングを導入し、追加パラメータなしで分布内外の性能を最大30%向上させた。
- Memo: 強化学習による記憶効率の良い身体性エージェントの訓練VLA2025/10/1
Transformerベースの強化学習において、定期的な要約トークンを入力に挟み込むことで記憶の生成と検索を行い、長期的なタスクを効率的に学習する手法を提案。
- EmbodiedSplat: モバイル端末からのガウススプラッティングによる個人化されたReal-to-Sim-to-Realナビゲーションsim2real2025/9/1
iPhoneで撮影した実環境を3Dガウススプラッティングで再構築し、Habitat-Sim上で方策を微調整することで、実世界の画像ナビゲーション性能を大幅に向上させる手法を提案。
- 二段階で考えよう:自己接地検証によるMLLMの同意バイアス緩和VLA2025/7/1
マルチモーダルLLM検証器がエージェント行動を過剰に承認する「同意バイアス」を指摘し、望ましい行動の事前知識を自己生成してから評価する軽量手法SGVを提案。失敗検出を25ポイント改善した。
- FindingDory: 身体性エージェントの記憶評価ベンチマーク身体性エージェント/記憶/ベンチマーク2025/6/1
Habitatシミュレータ上で長期的な記憶を要する60の身体性タスクを評価するベンチマークを提案し、視覚言語モデルの長期記憶能力を測定する。
- 挑戦的な四足歩行のための階層型強化学習と価値最適化歩行2025/6/1
高レベル方策が低レベル方策の学習済み価値関数をオンライン最適化して足場を選ぶ二層階層型強化学習を提案し、難地形での衝突を減らし報酬を改善した。
- 非凸固定翼飛行制御と自動運転のためのバリア関数オーバーライド安全制御2025/5/1
強化学習の安全性を確保するため、非凸な制御入力を持つ固定翼機と自動運転車の離散時間系に対してバリア関数を設計し、近似オーバーライドで安全違反ゼロを達成した。
- ロボティクスにおけるニューラルフィールド:サーベイニューラルフィールド2024/10/1
ニューラルフィールドのロボティクス応用を200本以上の論文に基づき、4つの主要フレームワークと5つの応用領域(姿勢推定、マニピュレーション、ナビゲーション、物理、自動運転)に分類してレビューしたサーベイ論文。
- 家庭内でのオープンワールド移動マニピュレーションに向けて:NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- 補助タスク蒸留による強化学習強化学習2024/6/1
補助的な強化学習タスクから振る舞いを蒸留し、長期的なロボット制御タスクを実現する手法を提案。物体再配置ベンチマークで従来手法を上回る成功率を達成。
- 事前学習済みテキスト画像拡散モデルは制御のための万能な表現学習器であるVLA2024/5/1
テキストから画像を生成する拡散モデルの内部表現を制御ポリシー学習に転用し、操作・ナビゲーションタスクで既存手法に匹敵する性能を達成した。
- GOAT-Bench: マルチモーダル生涯ナビゲーションのベンチマークナビゲーション2024/4/1
カテゴリ名・言語記述・画像など様々な形式の目標に対応する万能ナビゲーションタスク「GOAT」のベンチマークを提案し、RLやモジュラー手法を評価した。
- N-QR: マルチロボット個体対応のための自然クイックレスポンスコードマルチロボット2024/3/1
自然な画像パターンをQRコードのように使って、大規模な異種ロボット群間で素早く正確に対応付けを行う手法を提案し、農場での植物マッチングに応用した。
- 基盤モデルによる汎用ロボットの実現に向けて:サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- FSD: 高速自己教師あり単一RGB-Dからカテゴリカル3Dオブジェクトへ3D認識2023/10/1
単一のRGB-D画像から物体の3D形状・サイズ・6D姿勢をカテゴリレベルで予測する自己教師あり手法を提案し、合成データから実世界への効率的な転移を実現した。
- Habitat 3.0:人間・アバター・ロボットの共生シミュレーション基盤sim2real2023/10/1
家庭環境での人間とロボットの協調作業を研究するためのシミュレーションプラットフォームHabitat 3.0を提案し、人間参加型の評価基盤と社会的ナビゲーション・片付けタスクを実装した。
- HomeRobot: オープンボキャブラリな移動マニピュレーション移動マニピュレーション2023/6/1
家庭環境で未知の物体を把持し指定場所に置くオープンボキャブラリ移動マニピュレーションのベンチマークを、シミュレーションと実機の両方で構築し、強化学習とヒューリスティックのベースラインを評価した。
- 社会的協調を伴う物体再配置タスクにおける適応的協調マルチエージェント協調2023/6/1
2台のロボットが自己中心視点のみを用いて共同で食卓準備や片付けなどの長期タスクを行う「Social Rearrangement」を提案し、新しいパートナーとゼロショットで協調するための多様性を促す手法BDPを開発した。
- 対話が必要:自動運転における通信必須シナリオの特定と克服自動運転2023/5/1
自動運転車同士の協調が必要な「通信必須」状況を特定し、分散型マルチエージェントの軌道計画で衝突率を最大62.5%削減した研究。
- マルチエージェント軌道交換による通信クリティカルな計画マルチエージェント計画2023/3/1
複数の自動運転車が通信で軌道を交換し、不確実性を考慮したコストマップで衝突を避けながら交差点を走行する分散計画手法を提案した。
- ShAPO: 複数物体の形状・外観・姿勢を統合最適化する暗黙表現6D姿勢推定2022/7/1
単一のRGB-D画像から複数物体の検出・形状・外観・6D姿勢・サイズを同時推定する手法を提案し、NOCSデータセットで大幅な精度向上を達成した。
- CenterSnap: 単一ショットでの複数物体3D形状復元とカテゴリ別6D姿勢・サイズ推定6D姿勢推定2022/3/1
単視点RGB-D画像から複数物体の3D形状・6D姿勢・サイズをバウンディングボックス不要の一段階手法で同時推定し、40FPSで動作する手法を提案。
- ロバスト制御バリア関数を用いた安全な強化学習安全強化学習2021/10/1
モデルベース強化学習に微分可能なロバスト制御バリア関数レイヤーを組み込み、報酬駆動タスクを安全制約と独立にモジュール学習することで、学習中の安全性と探索誘導を両立させた論文。
- 帯域制限下で障害物を越えるマルチエージェント空間ハンドシェイク群制御2021/7/1
ロボット群の未位置合わせRGB画像を帯域制限と遮蔽に耐えながら圧縮・伝播し、分散的に意味セグメンテーションを行う学習可能なMASHネットワークを提案した。
- 学習されたデータ関連付けによるマルチロボット知覚の強化マルチロボット知覚2021/7/1
未登録の多視点RGB画像から分散セマンティックセグメンテーションを行うため、各ロボットが局所的に特徴を符号化・復号し、不確実性を考慮した特徴交換を行う拡張可能なニューラルネットワークを提案した。
- Habitat 2.0:家庭用アシスタントロボットの訓練プラットフォームsim2real2021/6/1
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
- 連続3D環境におけるロボット視覚言語ナビゲーションのための階層型クロスモーダルエージェント視覚言語ナビゲーション2021/4/1
視覚と言語指示に基づくロボットナビゲーションを連続3D再構成環境で扱うRobo-VLNを提案し、高レベル・低レベル方策に分解する階層型クロスモーダルエージェントで既存手法を上回る性能を示した。
- 学習可能な領域成長によるクラス非依存の点群セグメンテーション点群セグメンテーション2021/3/1
点群の領域に点を追加・削除する操作を深層学習で予測し、任意クラスの物体を単一ネットワークでインスタンス分割する手法を提案。S3DISとScanNetで既存手法を1〜9%上回る。
- When2com: 通信グラフのグループ化によるマルチエージェント知覚マルチエージェント知覚2020/6/1
複数エージェントが協調して知覚タスクを行う際に、通信グループの構築と通信タイミングを学習により決定し、帯域を大幅に削減しつつ高性能を維持するフレームワークを提案した。
- 学習可能なハンドシェイク通信による協調知覚協調知覚2020/3/1
複数ロボットが帯域制限下で段階的なハンドシェイク通信を行い、必要な情報だけを圧縮して共有することで意味セグメンテーション精度を向上させる手法を提案した。
- 不確実性を考慮したノイズOR型マルチモーダル融合による未知の入力劣化への頑健化マルチモーダル融合2019/11/1
霧・雪・霜など学習時に未知のセンサ劣化に対応するため、各モダリティの不確実性で出力確率をスケーリングし、確率的ノイズOR融合で統合する手法を提案。AirSimのセマンティックセグメンテーションで既存手法を平均IoUで28%上回った。
- RoboCSE: ロボット常識埋め込み知識表現2019/3/1
物体の用途・位置・素材に関する常識知識をマルチリレーショナル埋め込みで表現し、家庭環境シミュレータで汎化性能と省メモリ性を検証した研究。
- 後悔するエージェント:進捗推定によるヒューリスティック支援ナビゲーションVLN2019/3/1
視覚と言語によるナビゲーション(VLN)において、進捗推定を学習可能なヒューリスティックとして用い、後戻り判断と訪問方向の提示を行う2モジュールを組み込むことで、ビームサーチ不要の貪欲行動選択でも高精度を実現した研究。
- 移動ロボットのためのマルチビュー逐次3D点群セグメンテーション3D点群セグメンテーション2019/2/1
移動ロボットが複数視点から得た点群を逐次的に統合し、深層学習ネットワークMCPNetでクラス・インスタンスラベルをオンライン推定する手法を提案した論文。
- 補助的な進捗推定による自己監視型ナビゲーションエージェントナビゲーション2019/1/1
視覚と言語の指示を照合するモジュールと進捗監視を組み合わせ、未知環境でのVision-and-Language Navigationを高精度化した研究。未見テストで成功率を8%向上させ最先端を更新した。
