Yiannis Aloimonos
University of Maryland, College Park
収録論文 67本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- MotorSense:動作理解のための映像とEMGを組み合わせた大規模データセットマルチモーダル学習2026/10/30
一人称視点の映像と両手の筋電位(EMG)を同期収録した100時間規模のデータセットを構築し、映像と運動信号のクロスモーダル事前学習で動作認識や3D手・接触再構成の性能向上を示した論文。
- 教師あり遊びによる器用さの獲得マニピュレーション2026/10/15
人間の短時間の遊びから行動クローニングで遊び方策を学習し、自律的にデータを収集して世界モデルを訓練、モデル予測制御と自己遊びによる方策蒸留で器用な操作を実現した。
- RingNav: タスクに合わせた円環メモリによる視覚的方位推定視覚ナビゲーション2026/10/13
メモリを円環多様体S^1に制約した10.6kパラメータの軽量視覚方位推定器を提案し、小型ロボット上で高精度・高効率な方位推定を実現した。
- FreeCHROMA: 未整列の背景参照を用いた生成的クロマキー合成動画生成/合成2026/10/10
事前学習済み動画拡散モデルをパラメータ効率的に適応し、1〜3枚の未整列な背景参照から前景を自然に合成する動画クロマキー手法を提案。
- 何に注目し、何を保持するか:スキル条件付き視触覚表現と進捗誘導型イベントメモリ触覚2026/9/29
スキルごとに視覚と触覚の役割が変わる点に着目し、スキルで条件付けした融合と過去スキルの終端観測を保持する疎なイベントメモリを組み合わせた視触覚表現を提案。接触が重要なタスクで進捗推定の遅延と誤差を大幅に削減した。
- ForceBand: sEMGを用いた力強い操作の学習マニピュレーション2026/6/1
筋電位センサを搭載したリストバンドで人間の指先の力を推定し、力情報を含むデモンストレーションを生成してロボットの力制御を学習する手法を提案した。
- HumanEgo: 人間の一人称視点動画数分からのゼロショットロボット学習模倣学習2026/5/1
人間の一人称視点動画からロボット操作スキルをゼロショットで転移するフレームワークを提案。手と物体の相互作用をエンティティレベルで表現し、フローマッチングポリシーと補助損失で学習することで、ロボットデータ不要で高効率な学習を実現した。
- FEEL(力強化エゴセントリック学習):物理的行動理解のためのデータセットデータセット/行動理解2026/3/1
圧電抵抗グローブで計測した力データとエゴセントリックビデオを組み合わせた大規模データセットFEELを構築し、接触理解と行動表現学習に応用した。
- 単眼画像からの神経触覚場の再構成触覚2026/2/1
1枚のRGB画像から、接触時の触覚応答を空間的に予測する「神経触覚場」を推定する初の手法を提案し、経路計画と組み合わせて抵抗の低い領域を選んで進む経路生成を可能にした。
- 人工マイクロサッカード補償:オーニソプターのための安定視覚視覚安定化2025/12/1
12-20Hzで振動する尾なしオーニソプターのカメラ映像を、SO(3)上の3D回転最適化によりリアルタイムで歪みなく安定化する手法を開発した。
- EREBUS: 水中環境向けエンドツーエンド堅牢イベントベースシミュレーションイベントカメラ/水中ロボティクス/sim2real2025/11/1
AUV搭載のイベントカメラ向けに、水中環境のリアルな合成データを生成するパイプラインを提案し、低視界・浮遊粒子下での岩石検出タスクで有効性を示した。
- 敵対的ゲーム理論による多指ハンドの把持合成アルゴリズムマニピュレーション2025/11/1
把持生成を2人ゲームとして定式化し、ロボット側と物体の脱出運動を敵対的に競わせることで、外乱に強い多指ハンドの把持姿勢を高速に合成する手法を提案した。
- EmbodiSwap:ゼロショットロボット模倣学習のための身体置換模倣学習2025/10/1
人間の動画にロボットのCGオーバーレイを合成し、V-JEPAを視覚バックボーンに用いることで、実機ロボットのゼロショット模倣学習を実現した研究。
- NavMoE:専門家混合による局所ナビゲーションのためのハイブリッドモデル・学習ベース走行可能性推定ナビゲーション2025/9/1
地形ごとに特化したモデルベースと学習ベースの推定器を専門家として組み合わせ、ゲーティングネットワークで動的に重み付けする走行可能性推定手法を提案。未見環境への汎化と推論効率を両立。
- DREAM: ドメイン認識推論による効率的な自律型水中モニタリング水中ロボット/VLA2025/9/1
VLMを活用し、事前位置情報なしで牡蠣や沈没船などの対象を探索・監視する水中ロボットの自律フレームワークを提案し、従来手法より少ないステップで広範囲をカバーできることを示した。
- 巧みな触覚による物体姿勢推定触覚2025/9/1
強化学習でロボットハンドを能動的に動かして触覚データを収集し、物体の形状と姿勢を反復的に推定する手法を提案。
- ControlTac: 単一参照画像による力と位置を制御した触覚データ拡張触覚2025/5/1
単一の参照触覚画像と接触力・接触位置を条件として、物理的に妥当な触覚画像を生成する2段階の制御可能なフレームワークを提案し、触覚データセットの拡張に有効であることを示した。
- NatSGLD: 自然な人間-ロボットインタラクションにおける音声・ジェスチャ・論理・実演を統合したロボット学習データセットHRIデータセット2025/2/1
人間が自律型と信じて操作したロボットとの対話を記録し、音声・ジェスチャのマルチモーダル指示と実演軌道、線形時相論理式を対応付けたデータセットを構築した。
- 人間行動認識の未来展望:新興技術と倫理的影響の探求行動認識2024/12/1
次世代センサーや合成動画生成、強化学習を活用して人間行動認識の課題を克服する方向性と、研究における倫理的課題を論じた展望論文。
- 視覚的場所認識における新興トレンドと研究機会の探求VLA2024/11/1
ロボットの自己位置推定やSLAMで重要となる視覚的場所認識について、Vision-Languageモデルなど最近の研究動向と今後の機会を概観したサーベイ。
- 身体性に基づく視覚運動表現身体性知能2024/10/1
外部単位のキャリブレーションなしに、行動に基づく距離感覚を学習し、障害物回避やギャップ跳躍を実現する手法を提案。
- 触覚フィードバックによる極値探索制御ウィグリング挿入触覚2024/10/1
GelSight Miniセンサのひずみを最小化しながら挿入深さを最大化するようエンドエフェクタをウィグリングさせる極値探索制御則を提案し、鍵や組立タスクで高い成功率を達成した。
- FeelAnyForce: 視覚ベース触覚センサの触感から接触力フィードバックを推定触覚2024/10/1
視覚ベース触覚センサを用いて任意物体への3D接触力(最大15N)を推定するマルチヘッドトランスフォーマを提案し、未見物体で平均絶対誤差4%を達成、他センサへのキャリブレーション手法も示した。
- ODYSSEE: エッジ電子機器上のセンサシステムによるカキ検出水中ロボティクス2024/9/1
Stable Diffusionで実データを水増しし、YOLOv10ベースのモデルを水中ロボットのエッジ環境で動かしてカキを検出、mAP@50 0.657を達成した研究。
- Air-FAR: 大規模複雑未知環境における航空ナビゲーションのための高速で適応的な経路計画経路計画2024/9/1
階層的3D可視性グラフを用いて、大規模で複雑な未知環境をリアルタイムに飛行する経路計画手法を提案し、従来手法より大幅に高速かつ効率的な経路生成を実現した。
- ViewActive: 単一画像からの能動的視点最適化視点最適化2024/9/1
1枚の2D画像から3D視点品質場を予測し、ロボットが最適な観測視点を能動的に選べるようにする軽量ネットワークを提案。
- 知覚行動APIと大規模言語モデルによる物体属性の発見VLA2024/9/1
視覚言語モデルと大規模言語モデルを組み合わせた知覚行動APIを提案し、ロボットが能動的な知覚を通じて物体の重さなどの非視覚的属性を検出できるようにした。
- 符号化視覚オドメトリ:CodedVO視覚オドメトリ2024/7/1
独自の光学系で画像に実スケールの奥行き情報を物理的に埋め込み、単眼視覚オドメトリのスケール曖昧性を解消する手法を提案。屋内環境で平均軌道誤差0.08mを達成。
- 自律型UAVによる能動的人間姿勢推定姿勢推定2024/7/1
ドローンが自ら視点を移動し、遮蔽を避けて人間の姿勢推定精度を高めるシステムを提案。NeRFによるデータ生成、視点誤差推定ネットワーク、飛行計画を組み合わせる。
- マイクロサッカードに着想を得たロボティクス用イベントカメライベントカメラ2024/5/1
回転ウェッジプリズムをイベントカメラの前に取り付け、マイクロサッカードのように光を振ることで、動きに平行なエッジも安定して捉えられる新しい視覚システムを開発した。
- Interactive-FAR: 複雑未知環境における可動障害物を考慮した対話的・高速・適応的経路計画ナビゲーション2024/4/1
未知環境で可動障害物を押しのけながらナビゲーションするリアルタイム経路計画アルゴリズムを提案し、従来手法より33%の移動時間短縮と49%の経路効率向上を実現した。
- MARVIS: 動きと幾何学を考慮した実像・虚像セグメンテーションセグメンテーション2024/3/1
水面での反射・屈折による実像と虚像を、動きと幾何学の情報を活用して高精度に領域分割する手法を提案し、シミュレーションと実世界の両方で再学習なしに機能することを示した。
- NatSGD: 音声・ジェスチャー・実演を統合した自然なヒューマンロボットインタラクション学習データセットVLA2024/3/1
音声とジェスチャーによる人間の指示とロボットの実演を同期させたマルチモーダルHRIデータセットを構築し、マルチモーダル指示からのタスク理解学習における有効性を示した。
- LEAP: LLMによる一人称視点行動プログラムの生成VLA2023/12/1
大規模言語モデルを用いて、一人称視点の動画から行動プログラム(サブアクション、事前・事後条件、制御フロー)を生成し、行動認識と予測の性能を向上させた。
- AcTExplore: 未知物体の能動的触覚探索触覚2023/10/1
強化学習を用いて触覚センサで未知物体の表面を効率的に探索し、3D形状を再構成する手法を提案。未見のYCB物体で平均95.97%のIoUカバレッジを達成した。
- Cook2LTL: 大規模言語モデルを用いた料理レシピのLTL式への変換タスク計画2023/10/1
大規模言語モデルを活用し、インターネット上の料理レシピを線形時相論理(LTL)式に変換して、ロボットが実行可能なプリミティブ動作に接地するシステムを提案。動的キャッシュによりAPI呼び出し・遅延・コストを大幅に削減した。
- UIVNav:模倣学習による水中情報駆動型視覚ナビゲーション水中ナビゲーション2023/9/1
人間のダイバーのナビゲーション戦略に着想を得て、自己位置推定に頼らず、対象物(カキや岩礁)を調査しながら障害物を回避する水中ロボットのための模倣学習ベースのエンドツーエンドナビゲーション手法を提案。
- ChatSim: 自然言語プロンプトによる水中シミュレーションsim2real2023/8/1
大規模言語モデルを水中シミュレータOysterSimと統合し、自然言語入力で水中環境を直感的に制御・生成できるようにした研究。
- 合成衛星画像によるクジラ検出の強化sim2real2023/8/1
クジラ検出のための航空・衛星合成画像データセットを生成するSeaDroneSim2を提案し、実データ10%に合成データを加えることで検出性能を15%向上させた。
- オリーブ検出は合成データか実データか?Olive the Abovesim2real2023/8/1
フォトリアルな3Dオリーブの木モデルから自動ラベル付き合成画像を生成し、少量の実画像と組み合わせることで、人手ラベルなしに高精度なオリーブ検出を実現した。
- 人間-ロボット相互作用における自然な行動を引き出すためのデータ収集バイアス最小化への考察HRI2023/4/1
人間-ロボット相互作用研究で、未知の未知によるデータバイアスを減らし自然な行動を引き出すための予備研究と教訓を共有する。
- WorldGen:大規模生成シミュレータsim2real2022/10/1
自動でフォトリアルな3Dシーンとアノテーションを大量生成するオープンソースフレームワークを提案し、オプティカルフローの評価で有効性を示した。
- OysterSim: カキ礁モニタリングを強化する水中シミュレーションsim2real2022/9/1
カキ礁モニタリング用のフォトリアルな水中シミュレーション環境を構築し、ROVの位置情報や複数センサデータを含む画像データセットを生成するベンチマークを提案した。
- EVIMO2: 屋内シーンにおける動きセグメンテーション・オプティカルフロー・SfM・視覚慣性オドメトリ向けイベントカメラデータセットイベントカメラ/データセット2022/5/1
物理イベントカメラで撮影した多物体・低照度を含む173シーケンスに、画素単位の深度・セグメンテーション・物体姿勢の正解ラベルを付与したデータセットを構築した。
- TTCDist: 能動単眼カメラによる接触時間を用いた高速距離推定距離推定2022/3/1
移動する単眼カメラで特定物体を注視し、接触時間と加速度・距離の関係式(τ制約・Φ制約)を導出して効率的に奥行きを推定する手法を提案し、IMU併用の軌道推定で既存手法より高精度・高速であることを示した。
- GradTac: 時空間勾配に基づく触覚センシング触覚2022/3/1
流体式触覚センサのデータを時空間勾配表現に変換し、ノイズに強い触覚輪郭追跡アルゴリズムを提案。BioTac SP搭載のShadow Handで触覚追跡や滑り検出を実証した。
- DiffPoseNet:直接的な微分可能カメラ姿勢推定カメラ姿勢推定2022/3/1
法線フローを推定するNFlowNetと微分可能なキラリティ層を組み合わせ、深度推定を介さずにカメラ姿勢をend-to-endで学習する手法を提案した論文。
- NudgeSeg: 繰り返しの物理的相互作用によるゼロショット物体セグメンテーションセグメンテーション2021/9/1
ロボットが未知物体を繰り返し押して動かし、その動きの手がかりから単眼カメラのみで未知物体をセグメンテーションするフレームワークを提案した。
- プロペラ検出によるドローン認識ネットワークEVPropNet:空中着陸と追従への応用イベントカメラ/ドローン検出2021/6/1
プロペラの幾何モデルからイベントカメラ用のシミュレーションデータを生成し、実世界にそのまま転移可能なプロペラ検出ネットワークEVPropNetを学習。未マーカードローンの追従とホバリング中のドローンへの着陸を実現した。
- SpikeMS: 動きセグメンテーションのための深層スパイキングニューラルネットワークスパイキングニューラルネットワーク2021/5/1
イベントカメラ(DVS)入力を用いた大規模動きセグメンテーションのため、初の深層エンコーダ・デコーダ型スパイキングニューラルネットワークを提案し、新しい時空間損失と部分入力での逐次予測を実現した。
- 水中ロボットによるカキの検出と計数水中ロボティクス2021/5/1
ROVでチェサピーク湾の海底を撮影し、Mask R-CNNでカキを検出・追跡して数を数えるシステムを構築した。
- MorphEyes: 可変ベースラインステレオによるクアッドロータナビゲーションクアッドロータ/ステレオ視/可変ベースライン2020/11/1
ステレオカメラのベースラインを飛行中に動的に変更できる枠組みを提案し、森林飛行や未知の隙間通過、移動物体の3D姿勢検出で精度と堅牢性が向上することを示した。
- 暗闇での把持:触覚フィードバックによるゼロショット物体把持触覚2020/11/1
物体の形状や重さの事前情報なしに、触覚センサのフィードバックのみで滑りを検知・補正し、未知物体を安定把持する制御手法を提案した論文。
- 一人称視点の物体操作グラフ行動予測2020/6/1
手と物体の関係をグラフで表現し、近未来の行動を予測するEgo-OMGを提案。EPIC Kitchensで最先端性能を達成。
- PRGFlow: SWAP制約を考慮した統合型深層視覚慣性オドメトリのベンチマーク視覚慣性オドメトリ2020/6/1
深層学習による視覚並進推定を慣性センサと緩く融合し6DoFオドメトリを推定する手法を提案し、アーキテクチャ・損失関数・圧縮手法を比較するベンチマークを提示した。
- イベントカメラで動的障害物を回避する深層学習ドローン制御障害物回避2019/6/1
単一のイベントカメラと機上計算のみで、クアッドロータが複数の動く障害物を回避する深層学習手法を提案し、シミュレーション学習から実世界へ直接転移させて70%の成功率を達成した。
- 人間型グリッパのための計算触覚フロー触覚2019/3/1
人間の触覚フローに着想を得て、圧力センサ列から仮想表面のオプティカルフローとして触覚フローを定義し、ロボットの触覚フィードバック解析を改善する手法を提案した。
- トポロジー変化に対応する非剛体点群レジストレーション点群レジストレーション2018/11/1
順方向と逆方向のワープ推定を組み合わせ、接触や分離といったトポロジー変化の境界を検出して局所的にブレンドすることで、非剛体点群の高精度な位置合わせを実現した。
- スパースイベントデータからの高密度オプティカルフロー・深度・自己運動の教師なし学習イベントカメラ2018/9/1
DVSのスパースなイベントデータのみから高密度な深度・オプティカルフロー・自己運動を推定する軽量な自己教師あり学習パイプラインを提案し、単一GPUで250FPSのリアルタイム動作を実現した。
- cilantro: 軽量で汎用的な点群処理ライブラリ点群処理2018/7/1
点群の基本操作からセグメンテーション、クラスタリング、位置合わせ、モデルフィッティング、可視化までを網羅するオープンソースC++ライブラリを提案した。テンプレート化により任意次元のデータに対応し、依存が少なく高速で使いやすい設計が特徴。
- 操作動画から接触と運動を抽出する手法行動認識2018/7/1
RGBD操作動画において、非剛体レジストレーションで密な3D点軌跡を生成し、行為者と物体の接触検出および操作物体の運動・6DOF姿勢を推定する手法を提案した論文。
- 視覚的顕著性を活用したDirect Sparse Odometry視覚オドメトリ2018/3/1
深層学習による視覚的顕著性とシーン解析をDirect Sparse Odometryに組み込み、少ない特徴点でも高精度・高ロバストな視覚オドメトリを実現した。
- GapFlyt: 単眼カメラと機上センシングによる未知形状ギャップ検出とクアッドロータ飛行飛行ロボティクス2018/2/1
生物の知覚設計に着想を得て、3D再構成を行わず単眼カメラと機上センシングのみで未知の形状・位置の隙間を検出し、クアッドロータが通過するミニマリストな知覚-運動フレームワークを提案・実機検証した論文。
- アクティブパーセプション再考アクティブパーセプション2016/3/1
過去のアクティブパーセプション研究を整理し、計算資源の進歩により再び重要になっていることを論じたサーベイ。
- ここで何ができる?認知ロボットのための深層機能シーン理解シーン理解2016/2/1
屋内シーンからロボットが操作可能な機能領域を検出・認識する2段階の深層学習パイプラインを提案し、新たな評価データセットで有効性と汎化性を示した。
- ニューラルセルフトーク:連続的な質問応答による画像理解VQA2015/12/1
画像に対して自ら質問を生成し、それに答えることを繰り返すことで画像内容を能動的に理解するVQGとVQAの統合モデルを提案した論文。
- 操作行動の意味論を学習する計算フレームワーク行動理解2015/12/1
組み合わせ範疇文法とλ計算に基づき、操作行動の構文と意味を統一的に表現し、動画から確率的意味解析で学習する枠組みを提案した論文。
