Komei Sugiura
Keio University
収録論文 37本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- シーン内文字を理解するマルチモーダル物体検索STAREマルチモーダル検索2026/11/4
自由文指示に基づき、物体の視覚特徴と環境中の文字情報を統合して日用品を検索・搬送するロボット向け手法STAREを提案し、新ベンチマークで有効性とゼロショット実機成功率80%を示した。
- NarrativeFlow: ロボット速度場を用いたフローベース視覚-言語-行動モデルVLA2026/10/1
言語条件付き操作において、ロボットの速度場を連続的なフローとしてモデル化し、フローマッチングで生成する手法を提案。複数ロボットのデータを活用でき、実世界タスクで成功率が向上。
- フローをフローとして:ロボット速度場を確率速度場としてモデル化しフローベース物体操作を実現操作2026/6/1
ロボットの動作を確率フローとしてモデル化し、フローマッチングに基づいて高品質かつ高速なロボットフロー生成を実現した物体操作フレームワークを提案。
- LILAC: 言語条件付きオブジェクト中心オプティカルフローによるオープンループ軌道生成VLA2026/3/1
人間やWeb動画から学習可能なフローベースの軌道生成を用いて、言語指示に従った物体操作を実現する手法を提案。指示とフローを整合させる損失関数とクロスモーダルアダプタを導入し、既存手法より高品質なフロー生成と高いタスク成功率を達成した。
- AnoleVLA: 深い状態空間モデルを用いたモバイル操作のための軽量視覚言語行動モデルVLA2026/3/1
言語指示に基づくロボット操作のための軽量な視覚言語行動モデルを提案し、深い状態空間モデルを用いて効率的に動作させ、実機で高い成功率と高速な推論を達成した。
- HiFlow: トークン化不要のスケール単位自己回帰ポリシー学習をフローマッチングで実現VLA2026/3/1
ロボットの行動は低次元連続ベクトルであるため、離散トークン化を不要とし、時間プーリングで多スケールの連続行動目標を構築する自己回帰ポリシーHiFlowを提案。単一ステージでエンドツーエンドに学習し、既存手法を上回る性能を示した。
- アフォーダンスRAG:モバイルマニピュレーションのためのアフォーダンス認識型身体化記憶を用いた階層的マルチモーダル検索マニピュレーション2025/12/1
自由形式の指示に基づく移動マニピュレーションのため、事前探索画像からアフォーダンス認識型の身体化記憶を構築し、階層的マルチモーダル検索で対象物を特定するゼロショット手法を提案した。
- 操作前アライメント予測:並列深層状態空間モデルとTransformerによるアプローチマニピュレーション2025/9/1
操作前の一人称視点画像と計画軌道、自然言語指示の整合性を予測し、タスク成功を事前に判断するモデルを提案。深層状態空間モデルとTransformerを並列に用いて軌道の多層的な時系列相関を捉える。
- GENNAV: 一般化された参照可能領域のためのポリゴンマスク生成セグメンテーション2025/8/1
自然言語指示と車載カメラ画像から、境界が曖昧な領域も含めて対象領域の有無を予測し、複数領域のセグメンテーションマスクを生成する手法を提案。新ベンチマークGRiN-Driveと実車実験で有効性を検証した。
- 複数画像からの移動マニピュレーション指示生成と自動評価指標の強化移動マニピュレーション2025/1/1
対象物体と収納場所の画像から移動マニピュレーション用の自由形式指示文を生成するモデルを提案し、学習ベースとn-gramベースの自動評価指標を報酬として組み込む訓練法で性能を向上させた。
- エンドエフェクタ軌道に基づくオープンボキャブラリ物体操作タスクの将来成否予測マニピュレーション2024/12/1
自然言語指示・視点画像・エンドエフェクタ軌道を統合し、操作実行前に成否を予測する手法を提案。軌道に学習可能な重み付けを行うTrajectory Encoderで精度を向上させた。
- 二重緩和コントラスト学習と密ラベリングによるオープンボキャブラリ移動マニピュレーション移動マニピュレーション2024/12/1
家庭内画像から指示に合う物体と収納先を検索し、ロボットが物体を運ぶオープンボキャブラリ移動マニピュレーション手法RelaX-Formerを提案。実画像データセットと実機ゼロショット実験で有効性を示した。
- マルチレベル整列表現に基づくオープンボキャブラリマニピュレーションのタスク成功予測マニピュレーション2024/10/1
指示文と操作前後の視点画像から、卓上マニピュレーションの成否を予測する手法を提案。局所画像情報・言語整列特徴・言語構造化特徴を統合したマルチレベル表現で、MLLMを上回る精度を達成した。
- DM2RM: オープンボキャブラリ指示に基づく対象物と設置場所のデュアルモードマルチモーダルランキングマニピュレーション2024/8/1
家庭用サービスロボットがオープンボキャブラリの指示に従い、対象物とその設置場所の画像を単一モデルで検索できるデュアルモードランキング手法を提案し、実環境で82%のタスク成功率を達成した。
- マルチモーダル基盤モデルと最適輸送ポリゴンマッチングによるオープン語彙操作指示からの物体セグメンテーションセグメンテーション2024/7/1
家庭用サービスロボットへのオープン語彙な操作指示から対象物体のセグメンテーションマスクを生成する手法を提案し、頂点順序の違いを最適輸送で扱う損失関数と新データセットで有効性を示した。
- 最近傍未来キャプショニング:物体配置タスクにおける衝突可能性の記述生成VLA2024/7/1
家庭用サービスロボットが物体を配置する際に起こりうる衝突を予測し、その領域に注目して自然言語で説明する手法を提案。最近傍言語モデルと衝突注意モジュールにより、既存手法を上回る性能を達成した。
- 再配置対象検出のための協調スケールクロスアテンションTransformer物体検出2024/7/1
家庭用サービスロボットの再配置タスクにおいて、目標状態と現在状態の画像から再配置すべき物体を検出するTransformerベースの手法を提案し、新データセットでベースラインを上回る性能を示した。
- 物理世界検索エンジンを用いた日常物体同定のためのランク学習アプローチ物体検索2023/12/1
家庭内サービスロボットが複雑な指示から対象物体をランク付けして提示するLTRPOタスクを提案し、クロスモーダルなエンコーダを組み合わせたMultiRankItで精度を向上させた。
- DialMAT: 対話可能なTransformerとモーメントベース敵対的学習VLA2023/11/1
対話を通じて指示を確認できる具現化エージェント向けに、言語・画像・行動の潜在空間に敵対的摂動を加える学習法とクロスモーダル特徴抽出を組み合わせたDialMATを提案し、DialFREDタスクで最高性能を達成した。
- 自然言語指示による物体運搬タスクの生成・実行・評価を完全自動化するフレームワークVLA2023/11/1
連続空間でのFetch-and-Carryタスクを対象に、自然言語指示の生成からロボットの実行、評価までを自動化するフレームワークを提案し、タスクを4つのサブタスクに分割して解く手法を導入した。
- 双方向参照表現理解のためのヘッドテール切替ファネルUNITER:運搬タスクへの応用VLA2023/7/1
自然言語指示で物体を運ぶ家庭用サービスロボット向けに、対象物と目的地を単一モデルで個別に予測する手法を提案し、シミュレータと実機で有効性を示した。
- 操作指示からの物体セグメンテーションのためのマルチモーダル拡散セグメンテーションモデルマルチモーダルセグメンテーション2023/7/1
自然言語の指示文から対象物体を特定し、ピクセル単位のセグメンテーションマスクを生成するマルチモーダル拡散モデルを提案し、新データセットでベースラインを大きく上回る精度を達成した。
- マルチモーダル言語理解のためのプロトタイプ対照転移学習VLA2023/7/1
家庭内ロボットが自然言語指示で対象物を特定できるよう、シミュレーションデータを活用する新しい転移学習手法PCTLを提案し、実世界データセットで既存手法を上回る精度を達成した。
- 注意分岐の微調整によるロボットナビゲーション向け深層Qネットワークの視覚的説明ナビゲーション2022/8/1
深層強化学習モデルに注意分岐を接続して教師あり学習で微調整し、ロボットナビゲーションの行動決定を解釈可能な注意マップとして可視化する手法を提案した。
- 日常タスクにおける衝突リスクを説明する関係性未来キャプションモデルVLA2022/7/1
家庭用サービスロボットが行動前に衝突リスクを説明できるよう、将来起こりうる事象をキャプション生成するクロスモーダルモデルRFCMを提案し、関係性自己注意エンコーダで事象間の関係を効果的に抽出して既存手法を上回る性能を示した。
- モーメントベース敵対的学習による身体性言語理解VLA2022/4/1
家庭内タスク指示をサブゴールに分解して実行する視覚言語タスクに対し、指示・サブゴール・状態表現の埋め込み空間に2種類のモーメントを用いた敵対的学習を導入し、ALFREDベンチマークで全指標においてベースラインを上回った。
- 対象依存UNITER:家庭用サービスロボット向けTransformerベースのマルチモーダル言語理解モデルマルチモーダル言語理解2021/7/1
画像全体ではなく対象物体と関連領域に注目して指示表現と物体の関係を学習するUNITER拡張モデルを提案し、家庭用ロボットの言語指示理解精度を向上させた。
- ケース関係トランスフォーマ:把持指示のためのクロスモーダル言語生成モデルクロスモーダル言語生成2021/7/1
画像から物体の把持指示文を生成するクロスモーダル言語生成モデルCRTを提案し、Transformerで視覚特徴と幾何特徴を統合してデータ拡張を実現した。
- CrossMap Transformer:二重逆翻訳を用いた視覚言語ナビゲーションのためのクロスモーダルマスク付き経路変換器VLA2021/3/1
言語指示と視覚情報を統合して経路を生成するCrossMap Transformerを提案し、指示生成器との二重逆翻訳で相互強化することで視覚言語ナビゲーションの性能を向上させた論文。
- フォトリアルなシミュレーションで日常物体を配置する際の破損衝突の予測と注意マニピュレーション2021/2/1
家庭用サービスロボットが物体を置く前に、RGBD画像から破損を招く衝突リスクを予測するマルチモーダル注意ネットワークPonNetを提案し、1万2千枚のフォトリアル画像データセットを構築した。
- 注意分岐エンコーダ・デコーダネットワークによる文生成:ラベリング負担の軽減VLA2020/7/1
家庭用サービスロボットの指示文生成のため、視覚入力から文を生成するマルチモーダル注意分岐を持つエンコーダ・デコーダネットワークを提案し、画像キャプションの標準指標でベースラインを上回った。
- 注意分岐付きマルチモーダル対象物・場所分類器による曖昧な指示の理解マルチモーダル指示理解2019/12/1
家庭用サービスロボットの物体取得指示を対象に、言語と画像の注意機構を組み合わせたマルチモーダル分類器を提案し、曖昧な指示でも高精度に対象物と場所を予測できることを示した。
- 視点非依存の文生成のためのマルチモーダル注意分岐ネットワークマルチモーダル言語生成2019/9/1
家庭用サービスロボットへの指示文を自動生成するため、同一シーンの複数画像を用いて視点に依存しない自然な文を生成するマルチモーダル注意分岐ネットワークを提案し、標準指標で最先端手法を上回った。
- GANを用いたマルチモーダル対象・場所分類による家庭内物体取得指示の理解マルチモーダル指示理解2019/6/1
家庭用ロボットへの「白い棚から黄色いおもちゃを持ってきて」のような指示を理解するため、言語と視覚の特徴から対象物体と取得場所を領域ごとに予測する分類モデルを提案し、GANによるデータ拡張も統合した。
- ドローンによるセンサ散布のための劣モジュラ最適化手法SuMo-SS群制御2018/6/1
ドローンで多数のセンサを地面に散布する際、情報利得を最大化する配置をオンライン計画する手法を提案し、組合せ爆発を避けつつ(1-1/e)近似を達成、実機とシミュレーションで検証した。
- 曖昧な指示からの運搬・配置タスクのためのマルチモーダル分類器GANマルチモーダル指示理解2018/6/1
家庭用サービスロボットの運搬・配置タスクにおいて、曖昧な言語指示をロボットの状態や環境文脈と組み合わせて解釈するマルチモーダル手法MMC-GANを提案し、指示のみの手法より精度を向上させた。
- GANベース分類による操作指示の接地言語理解指示理解2018/1/1
家庭用サービスロボット向けに、動詞が欠けた短い指示文から適切な物体を推定するGANベースの分類手法を提案し、Visual QAデータセットを基にした評価でベースラインを上回る性能を示した。
