Yonatan Bisk
Carnegie Mellon University
収録論文 40本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ECHO: 物体運搬時の行き先を予測する大規模合成データセット物体配置予測2026/10/7
屋内シーンで人が物を運ぶ様子をRGB-Dで記録し、その物体がどこに置かれるべきかを予測するベンチマークと大規模データセットを構築した。
- 文脈的観察者接地:視覚言語モデルにおける状況的空間推論の評価VLA/空間推論2026/9/7
ロボットなどの身体化タスクで、話者の視点に基づく空間関係の理解を評価するベンチマークPOVBenchを構築し、最新の視覚言語モデルが文脈から観察者の視点を推論して対象を特定できるかを検証した。
- 再構成の迷子:視覚-言語-行動モデルにおける行動表現と言語の整合VLA2026/8/1
行動軌跡には言語的意味情報が含まれるが、再構成のみのトークン化で失われるため、凍結VLMで指示を復元する補助損失を加えた意味整合トークナイザSALTを提案し、SimplerEnvで成功率を大幅に向上させた。
- ELASTIC: 生成制御ポリシーのテスト時計算を適応的にスケールする効率的学習制御ポリシー2026/6/1
ロボット制御の生成ポリシー(拡散ポリシーやVLAモデル)において、状態に応じて推論時の計算量(逐次ステップ数と並列サンプル数)を強化学習で適応的に割り当てる手法を提案し、シミュレーションと実機で性能と効率を両立した。
- ロボット操作における帰納的一般化マニピュレーション2026/6/1
視覚運動ポリシーの一般化能力を、従来の分布内シフトではなく、より困難な分布外タスク変種で評価する「帰納的一般化」プロトコルを提案し、既存のVLAモデルがこのテストに失敗することを示した論文。
- 平坦性が視覚言語行動モデルの指示追従を維持するVLA2026/6/1
視覚言語行動モデルの微調整時に平坦性を保つ最適化を適用し、指示無視の失敗を大幅に改善した。
- IndoorR2X: LLM駆動計画による屋内ロボット対全機器連携群制御2026/3/1
屋内環境のIoTセンサーと移動ロボットを統合し、LLMによる計画でマルチロボットのタスク効率を高めるベンチマークとシミュレーションフレームワークを提案した。
- アフォーダンスRAG:モバイルマニピュレーションのためのアフォーダンス認識型身体化記憶を用いた階層的マルチモーダル検索マニピュレーション2025/12/1
自由形式の指示に基づく移動マニピュレーションのため、事前探索画像からアフォーダンス認識型の身体化記憶を構築し、階層的マルチモーダル検索で対象物を特定するゼロショット手法を提案した。
- RobotArena ∞: 実機からシミュレーションへの変換によるスケーラブルなロボットベンチマークVLA2025/10/1
実機の動画デモを生成モデルでシミュレーション環境に自動変換し、VLAポリシーを大規模かつ再現可能に評価するベンチマークフレームワークを提案。
- RAVEN: オープンセット意味記憶と行動適応による堅牢な空中ナビゲーション空中ナビゲーション2025/9/1
屋外の大規模環境で対象物を探す空中ロボット向けに、3D意味ボクセルマップを記憶として使い、ビヘイビアツリーで探索行動を切り替えるナビゲーション手法を提案。
- マイクロロボット向け高トルク密度PCBアキシャルフラックス永久磁石モータアクチュエータ2025/9/1
IC基板HDI技術で作製した48層PCB巻線により、直径19mm・厚さ5mmで銅充填率45%を達成したマイクロアキシャルフラックスモータを開発し、電磁・熱解析と試作機で性能を検証した。
- Casper: 視覚言語モデルによる多様な意図推論を実現する支援型遠隔操作遠隔操作2025/6/1
視覚言語モデルの常識知識を活用し、ユーザーの操作入力から多様な意図をリアルタイムに推論して、長期的な移動マニピュレーション作業を支援する遠隔操作システムを提案した。
- ANAVI: 屋内環境の視覚情報を用いた音騒音認識によるナビゲーションナビゲーション2024/10/1
屋内環境の視覚情報から音の大きさを予測し、ロボットが周囲に配慮した静かな経路計画を行えるようにした研究。
- Embodied-RAG: 具現化エージェントのための汎用ノンパラメトリック記憶検索生成VLA2024/9/1
ロボットの探索で得たマルチモーダルな知識を階層的な「意味の森」として記憶し、ナビゲーションや言語生成に活用するRAGフレームワークを提案した。
- MotIF: 動作指示ファインチューニングVLA2024/9/1
ロボットの動作の成否を判定するために、キーポイント軌跡を最終画像に重ねた抽象表現で視覚言語モデルをファインチューニングする手法を提案し、MotIF-1Kデータセットを構築した。
- DegustaBot: 個人の好みに基づくマルチオブジェクト再配置のためのゼロショット視覚嗜好推定マニピュレーション2024/7/1
視覚言語基盤モデルとゼロショット視覚プロンプトを用いて、家庭内の物体再配置タスクを個人の視覚的嗜好に合わせて解く手法を提案し、シミュレーションで評価した。
- 家庭内でのオープンワールド移動マニピュレーションに向けて:NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- 状況依存型指示追従指示追従2024/7/1
人間がその場で発する曖昧で時間的に変化する指示を、過去の行動や文脈から解釈してロボットが実行する「状況依存型指示追従」を提案し、既存のEIFモデルが人間の意図を十分に理解できないことを示した。
- ロボットとの対話:SLIVARコミュニティの参加と研究を広げるための提案音声対話2024/4/1
ロボットとの音声対話研究の近年の動向をまとめ、教育・ベンチマーク・言語モデリングの3つの提案を示したホワイトペーパー。
- Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習VLA2024/3/1
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
- 基盤モデルによる汎用ロボットの実現に向けて:サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- 言語と行動の橋渡し:言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方(状態評価・方策条件・認知計画・統合VLA)で分類し、最新手法と課題を整理したサーベイ。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- MOSAIC: 対話的知覚によるロボット学習のための統合マルチセンサ物体特性表現の学習マルチモーダル知覚2023/9/1
視覚・触覚・聴覚の基盤モデルを蒸留・整合させ、ロボットが物体特性を統合的に理解する枠組みを提案。物体分類と物体把持タスクで有効性を示した。
- 見えないものを推論する効率的な屋外物体ナビゲーションナビゲーション2023/9/1
屋外環境での物体ゴールナビゲーションの新タスクOUTDOORを提案し、LLMが未来を幻視する仕組みと計算考慮型成功指標を導入、シミュレーションドローンと実機四足歩行ロボットで有効性を示した。
- MAEA: 身体性AIのためのマルチモーダル帰属分析VLA2023/7/1
ALFREDデータセットで訓練された方策に対し、視覚・言語・過去行動の各モダリティの寄与度を大域的に算出する枠組みMAEAを提案し、失敗事例の分類やバイアス分析に活用できることを示した。
- HomeRobot: オープンボキャブラリな移動マニピュレーション移動マニピュレーション2023/6/1
家庭環境で未知の物体を把持し指定場所に置くオープンボキャブラリ移動マニピュレーションのベンチマークを、シミュレーションと実機の両方で構築し、強化学習とヒューリスティックのベースラインを評価した。
- 効率的なロボット学習のための空間言語アテンションポリシーVLA2023/4/1
3次元トークンを入力とし、言語条件付きのマルチタスク行動予測ポリシーを学習するSLAPを提案。モバイルマニピュレーションで高い成功率とロバスト性を示す。
- 自己教師あり物体ゴールナビゲーションと実環境でのオンライン微調整物体ナビゲーション2022/12/1
位置一貫性を自己教師信号として使うことで、ラベル付き3Dメッシュに頼らず物体ナビゲーションエージェントを学習し、実環境でのオンライン微調整も可能にした研究。
- Transformerは適応可能なタスクプランナータスクプランニング2022/7/1
物体属性ベースの表現を用いたTransformerタスクプランナーを提案し、単一のデモンストレーションをプロンプトとして未知の好みに汎化できることを食洗機積載タスクと実機での食器整理で示した。
- 人間から文脈的に有用な情報を要求する学習フレームワークヒューマンアシスト/ナビゲーション2021/10/1
エージェントが人間アシスタントに文脈に応じた豊富な情報を要求・解釈できる対話型フレームワークを提案し、未知環境でのナビゲーション成功率を最大7倍改善した。
- 3D物体と言語の接地:形状・輪郭表現の理解に向けた新ベンチマークSNARE言語接地2021/7/1
3D物体を対象に、視覚的・非視覚的な言語表現から参照物体を選ぶ新タスクSNAREを提案し、CLIP系モデルが形状理解で弱いことを示した上で視点推定の追加が精度を向上させることを明らかにした。
- ALFWorld:テキストと身体環境を統合した対話型学習シミュレータVLA2020/10/1
テキストベースの抽象的な計画学習と視覚環境での具体的な行動実行を橋渡しするシミュレータALFWorldを提案し、抽象知識が視覚接地行動に転移して汎化を向上させることを示した。
- 再帰的メンタルモデルによる対話型ナビゲーション対話ナビゲーション2020/5/1
案内役と質問するナビゲータの2エージェント対話タスクを設定し、互いの行動をモデル化する再帰的メンタルモデル(RMM)を提案。質問生成・回答生成・移動行動を強化学習で学習し、未知環境への汎化性能が向上することを示した。
- ALFRED:日常タスクの指示を解釈するためのベンチマークVLA2019/12/1
自然言語の指示と視点映像から家庭内タスクの行動系列を学習するベンチマークALFREDを提案し、既存モデルでは性能が低いことを示した。
- 静的な物体情報を活用したロボットの成功検出改善マニピュレーション2019/4/1
物体の画像や言語記述といった静的データを追加し、積み重ね・入れ子動作の成否判定精度を最大57%向上させた。
- 未来予測による言語からの解釈可能な計画生成言語指示・計画2019/3/1
自然言語の指示を中間目標の系列に変換する枠組みを提案し、行動前に結果を予測する「プロスペクション」を学習させることで、シミュレーション環境でのロボット指示解釈の精度を示した。
- 戦術的巻き戻し:視覚言語ナビゲーションにおけるバックトラッキングによる自己修正視覚言語ナビゲーション2019/3/1
視覚言語ナビゲーションで、局所的な行動選択と大域的な信号を組み合わせ、行き詰まった際にバックトラックして自己修正するFASTナビゲータを提案し、R2RベンチマークでSPLを6%改善した。
- 目標指向ロボット視覚のための早期融合ロボット視覚2018/11/1
目標情報を視覚処理の初期段階で融合させ、タスク特化の表現を生成するEarlyFusionモデルを提案し、模倣学習によるロボット物品取得タスクで有効性を示した。
- 共有自律と人間-ロボット間コミュニケーションの両立共有自律2018/5/1
人間とロボットの言語コミュニケーションを共有自律の観点から分析し、人間が指示の協調性と明示性をどう調整するかの効率と認知負荷のトレードオフを明らかにした論文。
