Mehdi S. M. Sajjadi
収録論文 6本 ・ フィジカルAI/ロボット学習
シーン表現新規視点合成VLAシーン分解3Dセマンティックセグメンテーション
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- DyST:実世界動画における動的ニューラルシーン表現の学習シーン表現2023/10/1
単眼の実世界動画から、シーン内容・視点ごとの動き・カメラ姿勢を潜在表現として分離するDynamic Scene Transformerを提案し、カメラとシーン内容を独立に制御した視点生成を可能にした。
- RePAST: 相対姿勢アテンションによるシーン表現トランスフォーマ新規視点合成2023/4/1
Transformerのアテンションにカメラ間の相対姿勢を直接注入することで、基準カメラの選び方に依存しない新規視点合成モデルを提案した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- スロット中心モデルによるテスト時適応シーン分解2022/3/1
スロット中心の生成モデルとテスト時適応を組み合わせ、再構成や視点間合成の損失でシーンごとに適応し、分布外のシーン分解性能を向上させた研究。
- NeSF:3Dシーンの汎化可能なセマンティックセグメンテーションのためのニューラルセマンティックフィールド3Dセマンティックセグメンテーション2021/11/1
ポーズ付きRGB画像のみから暗黙的ニューラル表現を用いて3D密度場を復元し、2Dセマンティックマップの教師信号で3Dセマンティックセグメンテーションを学習する手法を提案。任意の3D点でクエリ可能な密な3Dセグメンテーションを実現する。
- シーン表現トランスフォーマー:集合潜在表現による幾何学不要の新規視点合成新規視点合成2021/11/1
複数画像からシーン全体の潜在表現を一度の順伝播で推論し、幾何学モデルなしで新規視点画像を高速に合成するTransformer手法を提案した論文。
