Dzmitry Tsetserukou
Skolkovo Institute of Science and Technology
収録論文 192本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- DroneDiffusion: 知覚信頼性を考慮した拡散モデルによるUAV経路計画UAVナビゲーション2026/11/11
レンズフレアや露出過多などで知覚が劣化する領域を信頼性マップとして推定し、それを条件に拡散モデルで3D軌道を生成するUAVナビゲーション手法。シミュレーションのみで学習し実機にゼロショット適用、衝突率を半減させた。
- 意図認識で安全な人型ロボットのソーシャルタッチを実現するVLA制御VLA2026/11/5
人型ロボットが握手やハグなどの接触を伴う社会的インタラクションを安全に行えるよう、意図認識で動作をゲートするVLAパイプラインを構築し、複数モデルを比較評価した。
- 空間幾何情報を活用した単眼屋外ナビゲーション向け3DガウシアンスプラッティングSLAMSLAM2026/10/26
単眼屋外ナビゲーションのためのSLAM手法で、ストリーミング空間幾何とレイ条件付き3DGSカーネルを組み合わせ、追跡とマッピングを統合最適化して地図と軌跡の一貫性を向上させた。
- UAV-SwarmAgent: コード生成と視覚言語推論によるスケーラブルなマルチUAV偵察・タスク割当群制御2026/10/23
自然言語の1文から地上局エージェントがコードを生成し、視覚言語モデルで目標を地図上に特定してN機のUAVに経路を割り当てる階層型マルチエージェントシステムを提案。255ミッション中244件で事象を発見し、機数増加に対する飛行時間短縮がAmdahl型の法則に従うことを示した。
- ReForesight: 動的セマンティックマッピングのための遮蔽に頑健な再同定と将来占有予測セマンティックマッピング2026/10/12
歩行者や車両の将来位置を予測し、遮蔽後の再同定も行うROS 2ツールキットを開発。小型MLPで3秒先までの占有を予測し、カルマンフィルタより高精度で高速に動作する。
- JitterVLA：VLA駆動型ヒューマンロボット操作における動作品質のためのリプレイベンチマークVLA2026/10/9
VLAポリシーが出力する指令の遅延・不規則な到着によるロボットの急激な動きを評価するため、同一指令と到着履歴を異なる制御器で再生するベンチマークJitterVLAを提案し、補間がジャークを大幅に低減することを合成・人間・実機で検証した。
- HorizonNav: 幾何学誘導ビデオ拡散による予測型3Dロボットナビゲーションナビゲーション2026/10/9
単一RGB画像とテキストから周囲の3D空間を予測するビデオ拡散フレームワークを提案し、幾何学的一貫性を高める深度アライメントでナビゲーション計画を改善した。
- AutodidactWAM: 生成動画からロボット動作へのクロスモーダル自己蒸留VLA2026/10/6
世界行動モデルが生成した動画から手姿勢推定と逆運動学で動作を復元し、自己蒸留でロボットの動作精度を大幅に改善した研究。
- AgenticTactileVLA：VLA再学習なしで汎化可能な巧みな操作を実現する接触誘導型実行時監督マニピュレーション2026/10/3
固定されたVLAの動作を実行時に監督し、指位置とモータ負荷から接触を推定して把持を調整することで、触覚センサや再学習なしに未知物体への把持成功率を向上させる手法。
- SocialVLA：人間の反応を利用したVLAマニピュレーションの失敗検知と回復のための社会的知覚ゲートウェイVLA2026/10/1
ロボットの失敗時に人間が示す音声・表情・発話などの自然な反応をリアルタイムで検知し、VLAポリシーを一時停止・修正する介入信号に変換するシステムを提案・実機評価した。
- CognitiveReality: LLMエージェントによるロボット非依存の意味的ガウスマッピングと没入型協調VRテレオペレーションVLA2026/9/25
ロボットのRGB-D映像から意味的に索引付けされたガウス-TSDFマップを生成し、VR上の操作者とツール利用型言語エージェントが共有して、音声やポインティングをロボット行動に変換するシステムを提案。2台の四足歩行ロボットで実証した。
- Kintsugi-VLA: 失敗ロールアウトを介入的回復可能性で回復データに変換VLA2026/9/25
シミュレーションで失敗したロールアウトを、状態復元と分岐を利用して回復用の合成データに変換する枠組みを提案し、Frankaマニピュレーションで回復成功率を向上させた。
- FlockDiffusion: 割当条件付き拡散モデルによるマルチドローンタスク割当と完了群制御2026/9/20
シーングラフエンコーダと拡散トランスフォーマを組み合わせ、複数ドローンのタスク割当と経路生成を高速かつ低コストで行う学習フレームワークを提案。
- HapticWAM: 推論時の触覚センシングなしで想像上の触覚を世界行動モデルに蒸留触覚2026/9/20
触覚センサの情報を教師モデルで学習し、展開時には触覚入力なしで動作する生徒モデルに蒸留することで、接触の多い把持・配置タスクの成功率を向上させた研究。
- ZeroTouch: 触覚教師あり視覚接触推定による接触リッチマニピュレーション触覚2026/9/18
訓練時のみ触覚を教師信号として使い、展開時は手首カメラ映像から接触変形・6軸力・把持圧縮目標を推定する枠組みを提案し、物体把持タスクで高い成功率を達成した。
- AcousticDiffusion: 意味条件付き音響誘導拡散ポリシーによる救助支援音響ナビゲーション2026/9/18
音声認識とマイクアレイの到来方向推定を統合し、拡散モデルで経路を生成する音響誘導ナビゲーション手法を提案。四足歩行ロボットに実装し、救助者への接近性能を向上させた。
- AgenticSwarm: 異種マルチUAVミッションのための意味的知覚と適応的タスク割り当て群制御2026/9/18
航空画像と言語指示からミッション表現を構築し、制約付きタスク割り当てと障害発生時の再計画を統合したマルチUAVエージェントフレームワークを提案。
- SmellDiffusion: 嗅覚シーングラフを用いた拡散モデルベース四足歩行ナビゲーション歩行2026/9/17
ガス漏れ源への四足ロボットナビゲーションのため、開語彙の嗅覚シーングラフと拡散プランナを組み合わせ、ピーク位置のずれを幾何ゲートで補正する手法を提案。
- OmniAI: 人間とドローンの対話のための表面適応型空中投影インターフェースヒューマンロボットインタラクション2026/8/1
ドローンに搭載したレーザープロジェクタで、機体画面と周囲の環境表面に適応的に投影し、LLMによるテキストや画像応答を表示する空中エージェントを提案。RGB-DセンサとRANSAC平面推定で投影面をオンライン検出し、音声とジェスチャーで操作できる。
- GeminiPainter: 知覚・認知・計画・行動の各段階からなるシーケンス型パイプラインロボットアート2026/8/1
リアルタイム顔検出、AIによるスケッチ生成、ロボット描画を統合した自律的な肖像画生成システムを提案し、ユーザー評価で高い満足度を得た。
- ORCESTRA: 複合現実におけるVLM駆動の視覚的ロボットプログラミングHRI/プログラミング2026/8/1
複合現実環境で、ユーザーがロボットのデジタルツインを配置し、軌道を教示したり、言語で指示を与えることで、視覚言語モデルが構造化された計画に変換し、ロボットをプログラミングするシステムを提案した論文。
- AgenticFocus: 人間の一人称視点ビデオからの物体保持型MR合成による器用なヒューマノイド学習模倣学習2026/7/1
人間の一人称視点ビデオから、隠れた物体の形状復元と手の動きの再構築を行い、ヒューマノイドロボットの学習用デモを生成するMR合成パイプラインを提案した。
- AgenticRL: 視覚条件付きUAVナビゲーションのための自己改善型エージェント強化学習強化学習/UAVナビゲーション2026/6/1
報酬設計とポリシー改善を大規模言語モデルエージェントが自動で行う、UAVナビゲーションのための強化学習フレームワークを提案した。
- DIFF-IPPO: 拡散モデルに基づくオープンボキャブラリ信念マップを用いた情報経路計画経路計画2026/6/1
拡散モデルを用いて、非ガウス型の信念マップ上で情報利得を最大化する大域軌道を生成する経路計画手法を提案。シミュレーションの捜索救助シナリオで有効性を検証した。
- 蒸留型視覚言語信頼性ガイド付き拡散モデルによる空中ナビゲーションナビゲーション2026/6/1
UAVの自律ナビゲーション向けに、観測の信頼性を考慮した拡散ベースの経路生成プランナーを提案。視覚言語モデルから蒸留した信頼性ヒートマップで不確実領域を検出し、ESDFコストで物理障害物と同等に扱うことで、衝突率を大幅に低減した。
- 出力レベル正則化が単一GPU VLAファインチューニングにおけるシード抽選問題を解消するVLA2026/6/1
VLAモデルのファインチューニングで、ランダムシードによって成功率が大きく低下する「シード抽選」問題を発見し、出力レベルの正則化（VICReg、Dropout、学習率減衰）がこの問題を完全に解消することを示した論文。
- AnyGoal: 視覚言語ガイドによるマルチエージェント探索を用いた訓練不要の生涯ナビゲーションナビゲーション2026/6/1
VLMを探索の中心に据え、共有ベイズ価値マップでエージェントを協調させる訓練不要のマルチロボットナビゲーション手法を提案。GOAT-BenchでSOTAを達成した。
- AgenticDiffusion: 視覚ベースUAVナビゲーションのためのエージェント型拡散経路計画ナビゲーション2026/6/1
言語指示と複数視点（前方視点と俯瞰視点）を組み合わせ、拡散モデルによる経路計画とNMPCを統合した屋内UAVナビゲーションフレームワークを提案。実環境で80%の成功率を達成。
- アクションエージェント：エージェント型ビデオ生成とフロー制約拡散の融合ナビゲーション2026/5/1
LLMによるビデオ生成とフロー制約拡散モデルを組み合わせ、複数のロボット形態でナビゲーションを実現する2段階フレームワークを提案した。
- GenerativeMPC: VLM-RAGガイドによる仮想インピーダンスを用いた全身MPCによる双腕移動マニピュレーションマニピュレーション2026/4/1
視覚言語モデルと検索拡張生成を用いて、双腕移動マニピュレータの全身MPCの制御パラメータ（速度制限や安全マージン、仮想インピーダンス）を文脈に応じて調整する階層的フレームワークを提案した。
- 後期融合による協調軌道予測軌道予測2026/4/1
車車間通信で予測結果を共有する後期融合型の協調軌道予測フレームワークを提案し、通信負荷を抑えつつ予測精度を向上させた。
- GraspSense: 言語誘導知覚と力マップによる器用なロボットハンドの物理的根拠に基づく把持・握力計画マニピュレーション2026/4/1
物体表面の機械的特性の不均一性を考慮し、局所的な許容接触力マップを用いて把持候補を再ランク付けし、指の剛性を調整することで安全な把持を実現するパイプラインを提案した。
- GSDrive: 3Dガウススプラッティング環境によるマルチモード将来軌道探索で運転方針を強化自動運転2026/4/1
模倣学習と強化学習を組み合わせ、3Dガウススプラッティング環境で将来軌道を探索して密な報酬を生成し、エンドツーエンド自動運転のポリシーを改善するフレームワークを提案した。
- EagleVision: 高速自動運転レースにおけるクロスドメイン知覚のためのマルチタスクベンチマーク自動運転/ベンチマーク2026/4/1
高速自動運転レース向けに、LiDARベースの3D検出と軌道予測を統合したマルチタスクベンチマークを新たに構築し、都市・シミュレータ・実レース間のドメイン転移性能を評価した。
- H-RINS: スムージングとマッピングによる階層的密結合レーダー慣性状態推定状態推定2026/3/1
レーダーとIMUを階層的な因子グラフで密結合し、高速なオドメトリ推定とループ閉じ込めによるバイアス補正を組み合わせてドリフトを抑える手法を提案した。
- 適応SINDy：残差力システム同定に基づくUAV外乱抑制UAV制御2026/3/1
風などの外乱下でのUAV安定飛行のため、データ駆動のSINDyによる残差力モデリングとRLS適応制御を統合した手法を提案し、シミュレーションと実機で検証した。
- 移動マニピュレータ向け低コスト遠隔操作拡張遠隔操作2026/3/1
スマートフォン、リーダーアーム、フットペダルを用いた低コストな移動マニピュレータの遠隔操作フレームワークを提案し、ユーザー実験で有効性を検証した。
- DreamToNav: 生成ビデオ計画によるロボットの汎用ナビゲーションナビゲーション2026/3/1
生成ビデオモデルを計画エンジンとして使い、自然言語指示からロボットの動作を合成し、その映像から軌道を抽出して実機で実行するナビゲーションフレームワークを提案した。
- ImpedanceDiffusion: 拡散モデルによるUAV群ナビゲーションのための大域経路計画と生成的インピーダンス制御群制御2026/3/1
RGB画像から拡散モデルでUAV群の大域軌道を生成し、APF追従とVLM-RAGによる意味的インピーダンス制御を組み合わせて、混雑環境での安全な飛行とsim-to-real展開を実現した。
- DiffusionAnything: 統一ナビゲーションと把持前動作のためのエンドツーエンド・インコンテキスト拡散学習VLA/ナビゲーション/マニピュレーション2026/3/1
RGB画像のみから、メートル規模のナビゲーションとセンチメートル規模のマニピュレーションを単一モデルで計画する拡散ポリシーを提案。タスクごとに5分の自己教師ありデータで学習し、未知シーンへのゼロショット汎化を実現する。
- HapticVLA: 推論時触覚センシング不要のVision-Language-Actionモデルによる接触リッチマニピュレーションVLA2026/3/1
触覚をオフラインで学習し、推論時には触覚センサなしで接触を伴う器用な操作を実現するVLAモデルを提案。実世界実験で86.7%の成功率を達成。
- GustPilot: 風外乱に強いクアッドロータ航法のための階層型DRL-INDIフレームワーク飛行制御/外乱抑制2026/3/1
深層強化学習による速度指令生成とINDI制御による外乱抑制を組み合わせ、50gの小型ドローンで風のある環境でも高い成功率を実現した。
- VersualRL: 視覚的実行フィードバックによる閉ループ言語強化学習を用いたタスクレベルロボット計画タスク計画2026/3/1
視覚言語モデルが実行結果を批評し、言語モデルが行動木を更新する閉ループ枠組みを提案し、実機ロボットの多段階タスクで有効性を示した。
- 視覚ベース自律飛行のためのF'とROS2ハイブリッドアーキテクチャ：設計と実験的検証自律飛行2026/2/1
NASAのF'フライトソフトウェアとROS2をProtocol Buffersで連携させ、屋内クアッドコプターの視覚ナビゲーション飛行実験でリアルタイム性能と統合の堅牢性を検証した。
- 拡散モデルによるテキスト指示からの空撮シネマトグラフィドローン制御2026/1/1
自然言語の指示と機体カメラの初期画像から拡散モデルで飛行軌道を生成し、ドローンが自動でシネマティックな映像を撮影するシステムを提案した。
- DroneVLA：視覚言語行動モデルによる空中マニピュレーションVLA2026/1/1
自然言語の指示を理解するVLAモデルとGrounding DINOを組み合わせ、1自由度グリッパ付きドローンが対象物を把持し人へ受け渡すシステムを構築した。実機実験で位置推定・ナビゲーションの精度を検証した。
- GuideTouch: 視覚障害者向け触覚フィードバック搭載の障害物回避ウェアラブルデバイス触覚2026/1/1
視覚障害者向けに、2つのToFセンサと4つの振動アクチュエータを備えた小型ウェアラブルデバイスを開発し、頭上の障害物を含む回避支援と方向提示の有効性を検証した。
- HumanDiffusion: 捜索救助UAVのための人間条件付き目標を持つ視覚ベース拡散軌道プランナVLA2026/1/1
RGB画像から人間を検出し、拡散モデルで人間を考慮したナビゲーション軌道を生成する軽量プランナを提案し、救助UAVの実環境タスクで80%の成功率を示した。
- Glove2UAV: 直感的なUAV操作のためのウェアラブルIMUグローブウェアラブル操作インターフェース2026/1/1
手と指のジェスチャーでUAVを直感的に操作するIMUグローブを開発し、速度閾値超過時に振動触覚警告を提示する。シミュレーションと実機飛行でリアルタイム性とコマンド実行の安定性を検証した。
- HumanoidVLM: 視覚言語ガイドによるインピーダンス制御で接触の多いヒューマノイドマニピュレーションマニピュレーション2026/1/1
視覚言語モデルとRAGを用いて、一人称視覚画像からタスクに適したインピーダンスパラメータと把持設定を選択し、Unitree G1ヒューマノイドの柔軟な操作を実現した。
- ニューロモーフィックプロセッサAltAiを用いたEMGと視線追跡による義手操作システム義手/ニューロモーフィック/EMG2026/1/1
筋電位と視線誘導の視覚情報を組み合わせ、ニューロモーフィックプロセッサ上でスパイキングニューラルネットワークを動かすことで、低消費電力かつ高精度な義手制御を実現した研究。
- HoverAI：自然な人とドローンのインタラクションを実現する身体性を備えた空中エージェント空中ロボット/対話AI2026/1/1
ドローンにレーザープロジェクタや会話AIを搭載し、音声・視覚で人を認識してリップシンク付きアバターで応答する、空間認識型の対話エージェントを開発した。
- EmbodiedDiffusion：異種ロボットナビゲーションのための走行可能性誘導型視覚拡散モデルナビゲーション2025/12/1
RGB画像から走行可能性マップと軌道を同時に生成する拡散ベースの枠組みを提案し、プランナー不要で異種ロボットへの迅速な適応を実現した。
- SafeHumanoid: VLMとRAGによる人型ロボット上半身インピーダンス制御ヒューマンロボットインタラクション2025/11/1
視覚言語モデルと検索拡張生成を組み合わせ、周囲の状況や人間との距離に応じて人型ロボットのインピーダンスと速度を調整する制御パイプラインを提案し、安全性の向上を実証した。
- YawSitter: ヨー制御を強化したテールシッターUAVのモデリングと制御飛行制御2025/10/1
差動推力によるプロペラ後流の影響をモデル化し、ロール結合なしでヨーによる横方向位置制御を可能にするテールシッターUAVの新手法を提案・検証した。
- GestOS: 大規模言語モデルによる高度なハンドジェスチャー解釈で多様なロボットを操作VLA2025/9/1
手のジェスチャーをLLMで意味解釈し、複数ロボットの能力に応じてタスクを動的に割り振る操作システムを提案した。
- FlightDiffusion：拡散モデルによるFPV動画生成で自律ドローン訓練を革新VLA2025/9/1
単一フレームからFPV動画と行動空間を生成する拡散モデルを提案し、大規模な訓練データを合成してドローンのナビゲーション性能とsim-to-real転移を向上させた。
- AnywhereVLA: 言語条件付き探索と移動マニピュレーションVLA2025/9/1
未知の屋内環境で自然言語によるピックアンドプレースを実現するモジュール型移動マニピュレーションフレームワークを提案し、SLAMとVLAを組み合わせてエッジハードウェア上で46%の成功率を達成した。
- PhysicalAgent：基盤世界モデルによる汎用認知ロボティクスの実現VLA2025/9/1
テキスト指示から拡散モデルで動画デモを生成し、ロボットで実行・失敗時に再計画する反復ループで、多様なロボットのマニピュレーション成功率を最大80%まで高めた。
- SwarmVLM：動的倉庫環境における異種ロボット群の自律ナビゲーションのためのVLM誘導インピーダンス制御群制御2025/8/1
UAVとAGVの異種ロボット群が、VLMとRAGを用いてインピーダンス制御パラメータを適応させ、動的倉庫内を協調自律ナビゲーションするシステムを提案。実環境12試行で92%の成功率を達成。
- VLH：視覚・言語・触覚基盤モデル触覚2025/8/1
視覚と言語の理解から空中での力覚・振動フィードバックを生成する基盤モデルVLHを提案し、ドローンとVRで人間とのインタラクション性能を評価した。
- FiDTouch：指腹への3Dウェアラブル触覚ディスプレイ触覚2025/7/1
指腹に接触・圧力・皮膚伸長・振動などの触覚刺激を与える小型逆デルタ機構を用いた3Dウェアラブル触覚デバイスを開発し、静的接触と皮膚伸長の知覚に関する二段階のユーザー研究で性能を評価した。
- 逆カリキュラム学習による四足歩行ロボットのスケートボード搭乗マニピュレーション2025/5/1
逆カリキュラム強化学習を用いて、四足歩行ロボットがスケートボードに乗り込む動作を獲得できるようにした研究。
- HapticVLM：視覚言語モデルによる触覚テクスチャ認識と知的ハプティックインタラクション触覚2025/5/1
物体の素材を画像から認識し、環境温度も推定して、振動と熱で触感を再現するマルチモーダル触覚フィードバックシステムを提案した論文。
- DiffusionRL: 強化学習で強化した大規模データセットによるロボット把持のための拡散ポリシーの効率的訓練マニピュレーション2025/5/1
DexGraspNetデータセットを強化学習で強化し、5本指ロボットハンドの把持タスクで拡散ポリシーを軽量に訓練するパイプラインを提案。手動データ収集なしで80%の成功率を達成した。
- UAV-CodeAgents: マルチエージェントReActと視覚言語推論によるスケーラブルなUAVミッション計画VLA2025/5/1
LLM/VLMを活用したマルチエージェントフレームワークで、衛星画像と自然言語指示からUAVのミッションを自動生成し、火災検知タスクで93%の成功率を達成した。
- NMPC-Lander: 移動プラットフォームへのUAV着陸のためのバリア関数付き非線形MPCUAV着陸/非線形MPC2025/5/1
非線形モデル予測制御(NMPC)と制御バリア関数(CBF)を組み合わせ、静的・動的なプラットフォームへの安全で高精度な自律着陸を実現する制御アーキテクチャを提案し、実機実験で有効性を示した。
- ハンドヘルドモーションコントローラによる直感的なドローン操作ヒューマンドローンインタラクション2025/4/1
手の動きや指の操作でドローンを直感的に操縦できるハンドヘルド型モーションコントローラを開発し、実機・シミュレータ環境でユーザ評価を行った。
- MorphoNavi: デジタルツインにおけるオブジェクト指向マッピングを用いた空陸両用ロボットナビゲーション空陸両用ロボット/ナビゲーション2025/4/1
単眼カメラのみを用いて多様な物体を検出・位置推定し、デジタルツイン上で空陸両用ロボットをナビゲートするシステムを提案。模擬災害救助シナリオで有効性を実証した。
- Echo: 力覚フィードバック付きのオープンソース低コスト遠隔操作システムによるロボット学習用データセット収集遠隔操作2025/4/1
力覚フィードバックと感度調整機能を備えた低コストな遠隔操作システムEchoを開発し、URマニピュレータでの両手タスクの模倣学習用データ収集を容易にした。
- UAV-VLPA*：大規模環境での最適経路生成のための視覚・言語・経路・行動システム経路計画2025/3/1
衛星画像と視覚言語モデル、GPTの自然言語処理を組み合わせ、テキスト指示から飛行計画を生成するUAVシステムを提案。TSP最適化とA*による障害物回避で経路長を18.5%削減した。
- CognitiveDrone: UAVのリアルタイム認知タスク解決と推論のためのVLAモデルと評価ベンチマークVLA2025/3/1
ドローンの複雑な認知タスク向けに、一人称視点の画像とテキスト指示からリアルタイム4D行動指令を生成するVLAモデルと、推論モジュールを組み合わせた改良版、および認知タスク評価用ベンチマークを提案した論文。
- HIPPO-MAT: GraphSAGEとマルチエージェント深層強化学習による分散型タスク割り当て群制御2025/3/1
GraphSAGEベースのグラフニューラルネットワークと独立PPOを組み合わせ、UAVとUGVが中央制御なしで協調してタスクを割り当てる分散型フレームワークを提案し、実機検証も行った。
- AttentionSwarm: 動的環境におけるCrazyflieドローンのための注意制御バリア関数を用いた強化学習群制御2025/3/1
注意機構と制御バリア関数を組み合わせ、動的なドローン競争環境で衝突回避と軌道最適化を実現する群制御手法を提案し、Crazyflie 2.1で95-100%の衝突回避率を達成した。
- ImpedanceGPT：VLM駆動のインピーダンス制御による動的環境下でのミニドローン群の知的ナビゲーション群制御2025/3/1
Vision-Language ModelとRAGを組み合わせ、障害物の種類に応じてインピーダンス制御パラメータをリアルタイムに調整することで、ミニドローン群の動的環境下での安全なナビゲーションを実現した研究。
- LLMグラス：視覚障害者ナビゲーションのための触覚フィードバック付き生成AI駆動メガネ触覚2025/3/1
YOLO-WorldとGPT-4oを組み合わせ、視覚情報を触覚パターンに変換して視覚障害者をリアルタイムに誘導するウェアラブルナビゲーションシステムを開発し、その有効性を3つの実験で検証した。
- RaceVLA: 人間らしい挙動を実現するVLAベースのレーシングドローン航法VLA2025/3/1
視覚・言語・行動(VLA)モデルをドローンレース用データセットで微調整し、人間パイロットのような適応的な航法を実現した研究。
- CONTHER: 後知恵経験再生とTransformerによる専門家デモ不要の人間らしい文脈的ロボット学習強化学習/マニピュレーション2025/3/1
専門家のデモンストレーションなしで、後知恵経験再生(HER)を改良したリプレイバッファとTransformerを用いて、目標指向のマニピュレーションや障害物回避を効率的に学習する強化学習アルゴリズムを提案した。
- UAV-VLRR: 視覚言語情報を用いたNMPCによるUAV捜索救助の迅速応答VLA2025/3/1
視覚言語モデルとLLMでシーンを解釈し、障害物回避機能付き非線形モデル予測制御でドローンを飛行させる捜索救助システムを開発し、既存の自動操縦や人間のパイロットより高速な応答を実現した。
- AgilePilot: 物体検出を活用した動的環境におけるリアルタイム経路計画のためのDRLベースドローンエージェントドローン/経路計画/DRL/sim2real2025/2/1
深層強化学習とリアルタイム物体検出を組み合わせ、動的環境でドローンが安全かつ敏捷に飛行する経路計画手法を提案し、実機で90%の成功率を達成した。
- VDT-Auto: VLM誘導拡散トランスフォーマーによるエンドツーエンド自動運転自動運転2025/2/1
視覚言語モデル(VLM)で環境を幾何的・文脈的に理解し、拡散トランスフォーマーで行動を生成するエンドツーエンド自動運転パイプラインを提案。nuScenesで平均L2誤差0.52m・衝突率21%を達成。
- HetSwarm：インピーダンス誘導による動的・密集環境下での異種群ロボット協調ナビゲーション群制御2025/2/1
UAVと地上ロボットを組み合わせ、人工ポテンシャル場とインピーダンスリンクで密集・動的環境を協調移動するシステムを提案し、90%の成功率を実証した。
- Evolution 6.0：生成AIによるロボット進化VLA2025/2/1
VLM・VLA・テキストto3D生成モデルを組み合わせ、人間の指示に必要な道具をロボットが自律的に設計・製作し、その使い方を学習してタスクを遂行するシステムを提案。
- MAGNNET: 深層強化学習を用いた自律走行車のためのマルチエージェントグラフニューラルネットワークによる効率的なタスク割り当て群制御2025/2/1
通信制約下の異種マルチエージェント系で、グラフニューラルネットワークと集中訓練・分散実行型のマルチエージェント強化学習を組み合わせ、UAVとUGVが衝突なく動的にタスクを割り当てる枠組みを提案した。
- SafeSwarm: 密集群衆下で着陸するドローン群のための分散安全強化学習群制御2025/1/1
安全学習と強化学習を組み合わせ、障害物や機体間の衝突を避けながら移動する着陸パッドへ群れで着陸する分散制御を実現し、実機実験で高精度・無衝突着陸を示した。
- GazeGrasp: ウェアラブル視線インターフェースによるDNN駆動ロボット把持マニピュレーション2025/1/1
ESP32カメラとMediaPipe・YOLOv8を組み合わせ、視線で協働ロボットを操作して物体を把持する支援システムを開発し、磁気スナップ効果で作業効率を31%改善した。
- UAV-VLA：大規模航空ミッション生成のための視覚言語行動システムVLA2025/1/1
衛星画像とVLM・GPTを組み合わせ、テキスト指示から飛行経路と行動計画を生成するUAV向けシステムを提案。
- GestLLM：大規模言語モデルによる高度なハンドジェスチャー解釈とヒューマンロボットインタラクションHRI2025/1/1
MediaPipeで手の特徴を抽出し大規模言語モデルで解釈することで、事前定義に縛られない多様なジェスチャーでロボットを直感的に操作できるシステムを提案した。
- Shake-VLA: 視覚言語行動モデルによる双腕ロボットのカクテル調製システムVLA2025/1/1
視覚・音声・言語モデルを統合したVLAシステムで、双腕ロボットが材料の検出・計量・混合作業を行い、カクテルを自動調製する。
- 平衡位置と剛性を適応制御する並列ねじりばねによる脚式ロボットのエネルギー消費最適化歩行2024/11/1
歩行や跳躍などの周期的運動において、ねじりばねの平衡位置と剛性をサーボ駆動のウォームギアで調整する適応コンプライアンス機構を開発し、モータ負荷と消費電力を大幅に削減できることをシミュレーションで示した。
- MissionGPT: ロボティクストランスフォーマーモデルに基づく移動ロボットのミッションプランナーVLA2024/11/1
Transformerと大規模言語モデルを用いて、知覚アルゴリズムなしにカメラ映像のみから移動ロボットのタスクを計画・実行するミッションプランナーを提案し、基本動作で50%以上の成功率を達成した。
- SharpSLAM: 高速ドローン向けブレ除去を備えた3Dオブジェクト指向ビジュアルSLAMSLAM2024/10/1
高速移動するドローンの画像ブレを除去することで、オブジェクト指向SLAMの位置推定・マッピング・物体再構成の精度を向上させる手法を提案した。
- LucidGrasp: 6D姿勢推定による透明度の異なる実験器具の自律操作ロボットフレームワークマニピュレーション2024/10/1
透明度が異なる液体入り実験器具を6D姿勢推定で認識し、注液などの繊細な操作を自律的に行うロボットフレームワークを開発した。
- SwarmPath：人工ポテンシャル場とインピーダンス制御を活用した混雑環境下でのドローン群ナビゲーション群制御2024/10/1
人工ポテンシャル場とインピーダンス制御を組み合わせ、仮想リーダーに追従するドローン群が障害物を避けつつ狭い通路を効率的に通過する手法を提案した論文。
- FlightAR: 複数映像ストリームと物体検出を統合した没入型ドローン操縦支援ARインターフェースヒューマンドローンインタラクション2024/10/1
ドローンのFPVカメラと底面カメラ映像をARでHMDに重畳表示し、周囲状況の把握と直感的操縦を支援するインターフェースを開発、FPVゴーグルより高いユーザ評価を得た。
- TiltXter: ピペット遠隔操作のためのCNNによる傾斜角電気触覚レンダリング触覚2024/9/1
ロボットグリッパで把持した変形可能なピペットの傾きをCNNで推定し、その情報を電気触覚刺激として提示することで、遠隔操作の精度と成功率を向上させるシステムを提案した。
- Industry 6.0：生成AIと異種ロボット群が駆動する次世代産業群制御2024/9/1
自然言語の指示だけで製品設計から製造・組立までを自律的に行う完全自動生産システムを提案し、熟練開発者チームの4.4倍の速さで生産を完了できることを示した。
- METDrive: 時系列ガイダンスを用いたマルチモーダル端到端自動運転自動運転2024/9/1
自車状態の時系列特徴を活用した時間的ガイダンスにより、知覚データの幾何特徴と統合してウェイポイント予測を行う端到端自動運転システムを提案し、CARLAベンチマークで評価した。
- 動的サブゴールに基づく経路形成とタスク割り当て：スケーラブルな群ロボティクスへのNeuroFleetsアプローチ群制御2024/9/1
視覚的に連結したサブゴールを介して経路を形成する新手法と、局所通信・光信号でロボット数を最適化するタスク割り当て戦略を提案し、群ロボットの探索・ナビゲーション性能を向上させた。
- MorphoMove: 多肢形態形成型UAVのためのMPCベース経路追従を備えたバイモーダル経路プランナ経路計画/歩行2024/7/1
飛行と地上歩行の両方が可能な多肢形態形成型ドローンMorphoGearに対し、A*ベースのハイブリッド経路計画とMPCによる歩行経路追従を開発し、Unityシミュレーションで検証した。
- GazeRace: 視線制御による遠隔ドローン操縦の革新遠隔操縦/視線制御2024/7/1
アイトラッキング技術とMediaPipeを用いて目の動きをドローン操作コマンドに変換し、遠隔操縦を可能にするシステムを開発した。従来の操作と比べて飛行経路長を18%短縮しつつ同等の速度を維持し、操作精度の向上とユーザーのストレス軽減を示した。
- OmniRace: 6自由度ハンドポーズ推定による直感的なレーシングドローン操作ドローン操作/ジェスチャー認識2024/7/1
6自由度の手のポーズ推定とジェスチャー認識により、高速レーシングドローンを直感的に低レベル制御するシステムを提案し、シミュレーションで従来より25.1%速い完走を実現した。
- AirNeRF：ドローンとNeRFによる人間の3D再構成3D再構成2024/7/1
ドローンで自動撮影した映像とNeRFを組み合わせ、高品質な人間の3Dアバターを素早く作成するシステムを提案した論文。
- HyperSurf: GRUと実機-シミュレーション転移による表面認識が可能な四足歩行ロボットの脚触覚2024/7/1
四足歩行ロボットの脚で表面を認識するため、交換可能な表面を踏める単脚装置とGRUベースの認識システムを開発し、実機からシミュレーションへの表面特性転移を可能にした。
- MARLander: マルチエージェント深層強化学習によるドローン群の局所経路計画群制御2024/6/1
マルチエージェント深層強化学習を用いてドローン群を移動する目標地点へ精密に着陸させる手法を提案し、実機実験でPID+APFを上回る着陸精度を達成した。
- TornadoDrone: 風外乱下で6Dプラットフォームに着陸する生物模倣DRLドローン飛行制御/着陸2024/6/1
鳥の適応機構に着想を得た深層強化学習モデルで、風の直接測定なしに位置・速度変化から風力を推定し、動くプラットフォームへの高精度着陸を実現した。
- FlockGPT: 言語指示でドローン群れを誘導する群制御2024/5/1
大規模言語モデルを使い、自然言語の指示からドローン群れの目標形状を生成・制御するインターフェースを開発し、ユーザー研究で直感的な操作と高い形状認識率を示した。
- GrainGrasp: 指先ごとの接触誘導による巧みな把持生成マニピュレーション2024/5/1
各指先の接触マップを生成モデルで予測し、点群のみを入力とする最適化で人間らしい巧みな把持姿勢を生成する手法を提案した。
- VR-GPT: インテリジェントなVRアプリケーションのための視覚言語モデルVLA2024/5/1
Unity上に視覚言語モデルを組み込み、音声対話でVR内のユーザーをタスクへ誘導するシステムを開発し、従来のVR操作より作業時間短縮と快適性向上を示した。
- VLM-Auto: 複雑な道路シーンに対応する人間らしい振る舞いと理解を備えたVLMベースの自動運転アシスタント自動運転/VLM2024/5/1
視覚言語モデル(VLM)を用いて道路シーンを理解し、調整可能な運転行動を生成する自動運転支援システムを提案。CARLAとROS2で検証し、夜間・薄暗いシーンでも高い予測精度を達成した。
- FADet: 局所特徴注意に基づくマルチセンサー3D物体検出ネットワーク3D物体検出/マルチセンサー融合2024/5/1
カメラ・LiDAR・レーダーそれぞれの特性に応じた局所特徴注意モジュールを設計し、これらを融合することで複雑な長尾シーンでも高精度な3D物体検出を実現した。
- ロボットは感じられる：LLMベースのロボット倫理推論フレームワーク倫理推論2024/5/1
感情重み係数を用いて人間らしい感情をシミュレートし、ロボットに倫理的判断を行わせるLLMベースのフレームワークを開発し、8つのLLMで評価した。
- MoveTouch: ウェアラブル触覚ディスプレイを備えたロボット動作計測システムによる安全なHRIの実現触覚2024/5/1
手首に装着するウェアラブルロボットでマーカーを保持し動作計測と振動触覚フィードバックを行い、協働作業の安全性を高めるシステムを提案し、振動パターンの認識率と応答時間を評価した。
- Bi-VLA: 視覚-言語-行動モデルによる双腕ロボットの巧みな操作システムVLA2024/5/1
視覚・言語・行動を統合したBi-VLAモデルを提案し、人間の指示からサラダ調理などの双腕家庭タスクを実行、83.4%の成功率を達成した。
- FlyNeRF：ドローンとNeRFによる高品質3Dシーン再構成のための空中マッピングNeRF/3D再構成2024/4/1
ドローンで撮影した画像と位置情報をNeRFに統合し、再構成品質を評価するニューラルネットワークに基づいて追加撮影位置を自律決定することで、3D再構成の品質を向上させるシステムを提案した。
- HawkDrive: 夜間自動運転のためのTransformer駆動型視覚認識システム自動運転/視覚認識2024/4/1
夜間の自動運転向けに、ステレオ視とTransformerベースのニューラルネットワークを組み合わせ、低照度強調・深度推定・セマンティックセグメンテーションをROS2上で統合した認識システムを開発した。
- Lander.AI: 動的3Dプラットフォームへの適応型着陸エージェント飛行制御/強化学習2024/3/1
強化学習を用いて、風外乱や動くプラットフォーム上でもドローンを高精度に着陸させるエージェントを開発し、実機検証した。
- MorphoGear: 不整地移動のための多肢形態形成ギアを備えたUAV歩行2024/3/1
4本の3自由度ロボット肢を脚とマニピュレータとして兼用する新型ロータUAVを開発し、飛行・複数歩容での歩行・把持を実現、歩行精度と歩幅を実験で評価した。
- DogSurf: 視覚障害者ナビゲーションのためのGRUベース表面認識が可能な四足歩行ロボット歩行2024/2/1
四足歩行ロボットを用いて視覚障害者のナビゲーションを支援するDogSurfを提案。GRUベースのニューラルネットワークで滑りやすい路面を検出し、音声と触覚フィードバックでユーザーに停止を促す。
- CognitiveDog：視覚と言語を四足歩行ロボットの行動に変換する大規模マルチモーダルモデルシステムVLA2024/1/1
大規模マルチモーダルモデルを搭載した四足歩行ロボットが、自然言語の指示と環境の手がかりから自律的に物体を操作・運搬し、実行中に言語で状況を説明するシステムを開発した。
- CognitiveOS：あらゆるロボットに生成AIを付与する大規模マルチモーダルモデルベースのシステム認知ロボティクス2024/1/1
多様なロボットに適用可能な認知ロボット向けOSを提案。トランスフォーマーベースのモジュールを内部モノローグで連携させ、適応性と拡張性を実現し、推論タスクで高い性能を示した。
- LLM-MARS：マルチエージェントロボットシステムにおける行動ツリー生成とNLP対話のための大規模言語モデルVLA2023/12/1
Falcon 7Bを微調整したLLMで、人間の指示からロボットの行動ツリーを生成し、動作に関する質問に答えるマルチエージェントロボットシステムを構築した。
- TeslaCharge: インピーダンス制御と人間の触覚パターンに基づくスマートロボット充電器マニピュレーション2023/10/1
人間がEV充電プラグを差し込む際の力と動きを計測し、その触覚パターンをインピーダンス制御に取り入れることで、位置・姿勢の誤差があってもロボットアームが充電プラグを確実に抜き差しできる手法を開発した。
- HaptiCharger：人間の触覚パターンに基づく電気自動車のロボット充電マニピュレーション2023/10/1
人間が充電プラグを差し込む際の力と動きを計測し、その触覚戦略をロボットアームの制御アルゴリズムに応用することで、位置ずれがあっても確実に充電できる手法を開発した。
- LocoNeRF: NeRFを用いた局所Structure from Motionによる高精度な自己位置推定自己位置推定2023/10/1
画像データベースの代わりにNeRFモデルを利用して局所的なSfMを行い、ストレージを削減しつつ高精度な視覚的自己位置推定を実現する手法を提案した。
- PolyMerge: ポリラインを活用した動的HDマップ更新技術自動運転/HDマップ2023/10/1
車載センサデータからVectorMapNetで道路オブジェクトを検出し、PolyMergeで既存インスタンスと統合することで、事前記録なしにHDマップを継続的に生成・更新する手法を提案。
- NeuroSwarm: UAVと四足歩行ロボットの協調によるマルチエージェント3Dシーン再構成と最適ナビゲーション群制御2023/8/1
UAV群が3Dニューラル再構成で環境地図を作り、四足歩行ロボットが障害物の高さを考慮した適応型プランナで経路を短縮・高速化する協調ナビゲーションシステムを提案した。
- AirTouch: 気流フィードバックと赤外線モーションキャプチャによる安全な人間-ロボットインタラクション人間-ロボットインタラクション2023/8/1
赤外線カメラとウェアラブルマーカー、制御された気流のポテンシャル場を組み合わせ、危険な接近から人を遠ざける安全バリアを実現するシステムを提案し、その有効性を実験で示した。
- DNFOMP: 動的ニューラル場最適運動プランナによる混雑環境下の自律ロボットナビゲーション運動計画2023/8/1
動的環境の動きをニューラル場の衝突モデルに組み込み、ラグランジュ乗数で速度制約を扱う新しい運動計画法を提案し、都市環境の自動運転シミュレータで評価した。
- ArUcoGlide：位置追跡と触覚フィードバックで人とロボットの協働安全を高めるウェアラブルロボットウェアラブルロボット/触覚フィードバック2023/7/1
マーカーを保持する2自由度ウェアラブルロボットと低コスト追跡システム、人工ポテンシャル場による衝突回避を組み合わせ、協働作業の効率を保ちながら安全性を向上させるフレームワークを提案・評価した。
- GHACPP: 自律消毒ロボットのための遺伝的アルゴリズムによる人に配慮した被覆経路計画被覆経路計画2023/7/1
紫外線消毒ロボットが人と同じ空間で安全に作業できるよう、遺伝的アルゴリズムで人を避けつつ未知環境を効率的に消毒する経路計画手法を提案した。
- MorphoLander: 適応型形態形成UAVへのドローン群の強化学習ベース着陸群制御2023/7/1
不整地を移動できるリーダードローンに小型ドローン群が高精度で着陸するための強化学習アルゴリズムを開発し、平坦地で0.5cm、不整地で2.35cmの着陸精度を達成した。
- MorphoArms：多腕ロボットの形態形成的遠隔操作遠隔操作2023/7/1
4本の四肢で歩行と把持を行う形態可変シャーシと、ハンドジェスチャーによる遠隔操作システムを開発し、10名のユーザー実験で使いやすさと魅力を評価した。
- 通過可能障害物を考慮した二輪ロボットの高混雑環境ナビゲーション計画法経路計画2023/7/1
障害物を「通過可能」「通過不可」に分類し、通過可能な障害物をすり抜ける経路を生成する二輪ロボット向けプランナを提案。従来手法より経路長を最大43%、移動時間を最大39%削減した。
- LLM-BRAIn：大規模言語モデルによるロボット行動ツリーの高速自動生成VLA2023/5/1
Alpaca 7Bをファインチューニングし、オペレータのテキスト指示からロボットの行動ツリーをオンボードで生成する手法を提案。生成された行動ツリーは人間作成のものと区別が難しいほど自然で、未学習の指示にも対応できる。
- SwipeBot: 雑然環境における可動障害物を押しのけるDNNベース自律ナビゲーションナビゲーション2023/5/1
RGB-D画像から障害物の種類をCNNで分類し、押すべき物体と力を判断して経路を確保する車輪ロボットのナビゲーション手法を提案。ROS上で実装し、従来手法では行き詰まる領域でも経路を構築できることをシミュレーションで示した。
- ウインチ駆動を備えたケーブル吊り下げ型空中マニピュレータの階層型全身制御空中マニピュレーション2023/5/1
ケーブル吊り下げ型空中マニピュレータにウインチ制御の吊り下げ索を導入し、重力トルクを低減する張力分布を生成する階層型全身制御を提案・実験検証した。
- キーポイントマップサイズを適応的に削減する疎な特徴ピラミッドに基づく階層的視覚自己位置推定視覚自己位置推定2023/5/1
記述子長の異なる特徴ピラミッドを教師なし学習で生成し、粗から細への階層的自己位置推定によりメモリ使用量を最大16倍削減しつつ高精度を維持する手法を提案。
- SwarmGear: 再構成可能なリーダードローンと仮想インピーダンスリンクを用いた異種ドローン群によるマルチロボット検査群制御2023/4/1
地上移動可能な脚付きリーダードローンと仮想インピーダンスリンクで編隊を維持する異種ドローン群を提案し、検査タスクでの有効性を実験的に示した。
- DeltaFinger：指先に高忠実度の力ベクトルを提示する3自由度ウェアラブル触覚ディスプレイ触覚2022/11/1
ウェアラブルなデルタ機構で指先を誘導し、仮想物体との相互作用力を3次元力ベクトルとして提示する触覚デバイスを開発した。平均0.6radの精度で力ベクトルを知覚でき、他の指の動きを制限しない。
- LiePoseNet: リー群に基づく異種損失関数によるPoseNet学習の大幅な高速化自己位置推定2022/11/1
リー群上の集中ガウス分布に基づく損失関数を導入し、剛体・射影幾何を考慮することで、PoseNetの学習を300エポックから10エポックへと大幅に短縮した。
- SwarMan: 身体追跡と深層学習によるジェスチャー認識を備えた人型ドローン群アバター群制御2022/10/1
9機の小型ドローン群を人型アバターとして用い、操作者の身体動作と感情ジェスチャーをLSTMで認識してドローン群の動きと照明で感情を伝える遠隔コミュニケーションシステムを開発した。
- DroneARchery：拡張現実と触覚フィードバック、深層強化学習によるマルチUAV衝突回避を統合した人間-ドローンインタラクションヒューマンドローンインタラクション2022/10/1
ARと触覚提示で弓を引く感覚を再現し、深層強化学習で群れの衝突回避を制御するドローンアーチェリーシステムを開発・評価した。
- HyperGuider: 仮想現実による四足歩行ロボットの対話的経路計画フレームワーク歩行2022/9/1
VR空間で人間が四足ロボットの経路計画を誘導し、複雑な地形でのナビゲーションを支援するシステムを提案。人間とアルゴリズムの協調により計算速度が平均35.58%向上した。
- MeSLAM: ニューラルフィールドに基づくメモリ効率の良いSLAMSLAM2022/9/1
ニューラルフィールドによる暗黙的な地図表現を用い、地図領域ごとに複数のネットワークを分散・追跡することで、長期運用でもメモリ消費を抑えつつ高精度に自己位置推定と地図構築を行うSLAM手法を提案した。
- MuCaSLAM: 全方位ビジュアルSLAMを搭載した移動ロボットのためのCNNベースフレーム品質評価Visual SLAM2022/9/1
複数カメラ搭載の移動ロボットにおいて、SLAMに適した画像をResNet18で選別する中間層を導入し、計算効率とロバスト性を向上させた研究。
- HyperPalm: 四足歩行ロボットとの3D空間インテリジェント通信のためのDNNベースハンドジェスチャ認識インターフェースヒューマンロボットインタラクション2022/9/1
5つの静的ジェスチャーと6自由度の手の動きだけで四足歩行ロボットを3D空間で直感的に操作できる、DNNベースのジェスチャーインターフェースを提案した。
- HyperDog: ROS2とmicro-ROSを用いたオープンソース四足歩行ロボットプラットフォーム歩行2022/9/1
3Dプリント部品とカーボンファイバーで作られた低コストな四足歩行ロボットHyperDogを開発し、ROS2とmicro-ROSに基づくオープンソースの制御ソフトウェアを公開した。
- CloudVision: 事前構築LiDAR点群を用いた自律ロボットのDNNベース視覚自己位置推定視覚自己位置推定2022/9/1
LiDARで一度だけ作成した3D地図とRGBカメラ画像をDNNで照合し、ロボットの6自由度姿勢をセンチメートル精度で推定する手法を提案。
- DandelionTouch: ドローン群によるVRソフト物体の高忠実度触覚提示触覚2022/9/1
ドローン群で指先に触覚アクチュエータを届け、広い空間で疲労なくソフト物体の触覚を再現するシステムを提案し、インピーダンス接続トポロジーと振動触覚パターンの認識を評価した。
- 電気触覚・運動感覚フィードバックが遠隔操作タスクに果たす役割の探求遠隔操作/触覚2022/8/1
柔らかいピペットを遠隔操作する際に、運動感覚と皮膚感覚のマルチモーダル触覚フィードバックを提示するシステムを提案し、液体分注の精度と作業時間が大幅に改善することを示した。
- SwarmHawk: エージェント監督による移動プラットフォームへの着陸を実現する自己維持型マルチエージェントシステム群制御2022/6/1
ドローン群が移動するプラットフォームへ着陸する際、一部の機体が位置情報を失っても、リーダー機が周囲を誘導する監督機構により頑健に着陸できる視覚ベースのシステムを提案した。
- DogTouch: 高密度触覚センサを備えた四足歩行ロボットによる表面テクスチャ認識触覚2022/6/1
四足歩行ロボットの足裏に高密度触覚センサを搭載し、CNNで歩行面のテクスチャを認識する手法を提案。点字ブロック状の触覚パターンを利用した照明条件に依存しないナビゲーションも構想する。
- SwarmHive: 移動ロボット上への自律着陸を実現する異種ドローン群群制御2022/6/1
リーダー機のみにカメラを搭載し、フォロワー機は人工ポテンシャル場で衝突回避しながら、移動するロボット上にドローン群が高精度で編隊着陸する手法を提案した。
- DarkSLAM: 低照度環境での信頼性の高い動作を実現するGAN支援ビジュアルSLAMビジュアルSLAM2022/6/1
GANによる前処理で暗所画像を明るく補正し、低照度でも高精度に動作するビジュアルSLAM手法を提案。暗いシーケンスでの追跡時間が従来の0.6%から25.1%に向上した。
- WareVR：倉庫棚卸し向け自律ロボット監視のVRインターフェースVR遠隔操作2021/10/1
倉庫の棚卸しを自律ロボット（UGVとUAV）で行うため、デジタルツインとUAV映像を組み合わせたVR監視・遠隔操作インターフェースを開発し、ユーザー研究で有効性を評価した。
- 触覚ポテンシャル場による安全な人間-ロボット協調のためのCoboGuider触覚/安全な人間-ロボット協調2021/10/1
協働ロボット作業者に触覚フィードバックで危険な動きを早期警告し、速度・分離監視の安全距離を保つ手法を提案。実験で作業者とロボットの最小距離が44%増加した。
- フレーム事前分類を用いた配達ロボット向け全方位物体検出の高速化物体検出2021/10/1
6台のカメラで360度を撮影する配達ロボットにおいて、フレームを事前に二値分類してから物体検出ネットワークを動かすことで推論を高速化した研究。
- GraspLook：R-CNNによる仮想環境拡張を備えたVRテレマニピュレーションシステムテレオペレーション2021/10/1
R-CNNで遠隔環境の実験器具を検出し、そのデジタルツインをVR仮想環境に重ねて表示するテレオペレーションシステムを提案。カメラ映像ベースより操作が滑らかで作業時間・精神的負荷が低減した。
- CoHaptics：前腕装着型触覚ディスプレイによる人とロボットの協調作業の安全性向上システム触覚/協調ロボット2021/9/1
前腕装着型の触覚フィードバックと低コストなウェアラブルモーションキャプチャ、人工ポテンシャル場に基づく衝突回避を組み合わせ、人とロボットの協調作業の安全性を高める枠組みを開発・評価した論文。
- DeepScanner：アノテーション付き2D物体データセットを自動収集するロボットシステムデータセット自動生成2021/8/1
多関節ロボットを用いて2D物体データセットの収集とアノテーションを自動化し、手動ラベリングと比較して240倍高速・13倍高精度を実現した研究。
- 屋内UV-C消毒のための自律移動ロボットUltraBot移動ロボット2021/8/1
有害な薬剤を使わずUV-C照射で屋内消毒を行う自律移動ロボットを開発し、自己位置推定や最適軌道、除菌性能（2.8m先で10分照射により細菌数94%減）を実験で示した。
- UltraBot: 非自明な形状の消毒ゾーンを持つ屋内UV-C消毒用自律移動ロボット移動ロボット2021/8/1
有害な薬剤を使わずUV-Cランプで屋内を自律消毒する移動ロボットUltraBotを開発し、その機械・電気設計と消毒性能、非自明な消毒ゾーン形状の計測結果を示した論文。
- SwarmPlay: 強化学習で動くナノUAV群との対戦型○×ゲーム群制御2021/8/1
強化学習で制御したナノUAV群が人間と○×ゲームで対戦するインタラクティブなシステムを構築し、ゲーム理論ベースの挙動と比較してユーザー評価を調査した。
- 現代のオープンソースVisual SLAM手法の比較SLAM2021/8/1
複数のオープンソースVisual SLAM手法を精度・計算性能・堅牢性・耐故障性の観点で比較評価し、データセット比較と実用面の分析も行った論文。
- DronePaint：ジェスチャー認識でドローン群を操る光のペイント群制御2021/7/1
DNNベースの手ジェスチャー認識により、追加デバイスなしでドローン群をリアルタイムに軌道描画制御するヒューマン・スワームインタラクションシステムを提案し、99.75%の認識精度と描画誤差5.6cmを達成した。
- MobileCharger：インバーテッドデルタアクチュエータを備えた安全で堅牢な充電のための自律移動ロボット移動ロボット/自動充電2021/7/1
RGB-Dカメラと触覚センサーを組み合わせた視覚・触覚認識により、移動ロボット同士の電極を高精度に位置合わせして自動充電する移動充電ロボットを開発した。
- DeltaCharger：逆デルタ機構とCNNによる高精度触覚認識を備えた3D位置決め充電ロボット触覚/マニピュレーション2021/7/1
逆デルタ機構と高精度触覚センサを搭載した充電ロボットを開発し、接触面の圧力データからCNNを用いて電極間の角度・垂直・水平のずれを推定できることを示した論文。
- SwarmPaint: DNNジェスチャー認識による軌道生成とフォーメーション制御のための人間-群ロボットインタラクション群制御2021/6/1
DNNベースのジェスチャー認識を用い、手の動きや軌道描画で群ロボットの位置・フォーメーションを直感的に操作するシステムを提案し、ユーザー実験で精度と使いやすさを検証した。
- DroneTrap：色ベース力覚検出とジェスチャ認識を備えたソフトロボットハンドによる空中ドローン捕獲ソフトロボティクス2021/2/1
柔らかい3本指ハンドと触覚・色変化による力推定、モーショングローブのジェスチャ認識を用いて、空中でドローンを安全に捕まえるシステムを開発した。
- ZoomTouch：ジェスチャー認識によるZoom上の複数ユーザー遠隔ロボット操作遠隔操作2020/11/1
Zoom会議の映像からDNNでジェスチャーを認識し、複数ユーザーがリアルタイムで遠隔ロボットを操作して物体を巧みに扱える技術を提案。COVID-19検査ラボでの応用を例示。
- MaskBot: 頭部追従によるロボット投影マッピングロボット投影マッピング2020/11/1
6自由度協働ロボットでプロジェクタとカメラを顔の正面に保ち、顔へのリアルタイム投影マッピングを低遅延・広範囲で実現したシステム。
- LinkRing：指先に多点・多様な触覚刺激を提示するウェアラブル触覚ディスプレイ触覚2020/8/1
2つの5節リンク機構で指先に2点接触を実現し、せん断力・ねじり・滑り・圧力を提示できる軽量ウェアラブル触覚ディスプレイを開発し、接触点位置と滑り速度の弁別実験で高い認識性能を示した。
- CobotGear: ウェアラブル光学式モーションキャプチャによる協働ロボットとのインタラクション協働ロボット/衝突回避2020/7/1
低コストのウェアラブル光学式モーションキャプチャと人工ポテンシャル場に基づく改良型衝突回避アルゴリズムを統合し、人間と協働ロボットの安全な協働を実現するシステムを提案・評価した。
- ドローンが描く光の軌跡：長露光ライトペインティングと機械学習によるヒューマン・ドローンインタラクションヒューマン・ドローンインタラクション2020/7/1
IMUグローブで空中に描いたジェスチャーを機械学習で認識し、ドローンが長露光ライトペインティングでその場に文字や図形を描くシステムを提案した論文。
- TeslaMirror：VRで形状と質感を提示する多刺激型ハプティックディスプレイ触覚2020/6/1
ウェアラブル端末なしで圧力・振動・電気触覚を組み合わせ、VR物体の位置・形状・質感をリアルタイム提示するハイブリッド触覚ディスプレイを提案し、6自由度ロボットのデジタルツインで表面を適応制御した。
- 単一IMUセンサを用いたケーブル懸架型空中マニピュレータの最適振動減衰制御空中マニピュレーション2020/3/1
ケーブルで吊られた空中マニピュレータの振動を、機体の力で制振する制御を設計。単一IMUのみという限られた情報でも簡易モデルに基づくロバストな制御とゲイン調整則で素早く低エネルギーに振動を抑え、実験で検証した。
- SwarmCloak：光強度駆動のウェアラブル触覚インタフェースを用いた2機のマイクロクアッドロータの人手への着陸触覚2020/1/1
LED光の強度で振動触覚フィードバックを提示するウェアラブルデバイスを開発し、1〜2機の小型ドローンの手のひらへの着陸精度を視覚・触覚・視触覚条件で比較した研究。
- SwarmCloak：ナノクアッドロータ群を人の腕に着陸させる触覚フィードバックシステム群制御2019/11/1
LEDと振動触覚ディスプレイを組み合わせ、複数の小型ドローンを人の腕に着陸させるシステムを開発し、触覚と視覚のフィードバック併用が着陸精度と操作性を最も高めることを示した。
- MirrorShape：VR向け高忠実度大規模形状レンダリングフレームワークの開発触覚2019/11/1
協働ロボットのエンドエフェクタを実世界で動かしVR内の接触点と同期させることで、複雑な形状の触覚提示を可能にする分散型ハプティックディスプレイの概念を提案し、位置誤差低減の効果を予備実験で示した。
- ワイヤードスワーム：ドローン群による指先への高解像度触覚フィードバック触覚2019/11/1
各指をワイヤーで小型ドローンに接続し、VR内で指先に高解像度の力覚フィードバックを与える飛行型ウェアラブル触覚インタフェースを提案した。
- TouchVR：掌に多様な触覚刺激を提示するVR向けウェアラブル触覚インタフェース触覚2019/11/1
掌には3D力覚を提示するDeltaTouch、指先には振動モータを組み合わせ、VR空間で重さや滑り、柔らかさなどを体感できるウェアラブル触覚デバイスを開発した。
- スリングドローン：単一ドローンによるポインティングとインタラクションのための複合現実システムドローンインタラクション2019/11/1
小型ドローンをパチンコのように引き絞って狙いを定め、離すとVR内の軌道に沿って飛んで物体操作やセンシングを行う複合現実インタフェースを提案した。
- AeroVR：触覚フィードバック付きVRテレオペレーションによる空中マニピュレーションテレオペレーション2019/10/1
ドローンと4自由度アームのデジタルツインをVRヘッドセットで提示し、腕装着トラッカーと振動触覚グローブで直感的に遠隔操作するシステムを開発した。実験で安定かつ堅牢な空中マニピュレーションを実現した。
- 触覚で群れを導く：ウェアラブル触覚インタフェースとインピーダンス制御によるマイクロクアッドロータ群の誘導群制御2019/9/1
ウェアラブル触覚デバイスとインピーダンス制御を組み合わせ、人間が触覚フィードバックのみでドローン群を安全かつ滑らかに誘導できる新手法を提案し、飛行実験で障害物環境下でのナビゲーションを実証した。
- 群れを指先で感じる：インピーダンス制御されたナノドローン群との触覚インタラクション群制御2019/9/1
人間がインピーダンス制御でドローン群を誘導し、群れの伸縮状態を振動触覚フィードバックとして指先で受け取る手法を提案し、Crazyflie 2.0で実証した。触覚パターンは高い認識率を示し、群れ操作の直感性と没入感を高めることが確認された。
- 触覚グローブで操作するドローン遠隔ピッキング配送システムテレオペレーション/触覚2019/8/1
振動触覚グローブとVRを用いて、人がクアッドコプターを遠隔操作し物体を掴んで届けるテレオペレーションシステムを開発し、触覚パターンの認識率99%を達成した。
- メモリ付き非同期ビヘイビアツリーによる冗長飛行制御系のミッション実行ビヘイビアツリー2019/7/1
冗長化された飛行制御計算機間の状態同期を組み込んだ、メモリ付き非同期ビヘイビアツリーによるミッション実行システムを提案し、HAPSミッションのリアルタイムシミュレーションで有効性を示した。
- ケーブル懸架式空中マニピュレータSAMの開発空中マニピュレーション2019/3/1
ロータと障害物の衝突リスクを避けるため、マニピュレータをケーブルで吊り下げた能動プラットフォームに搭載する空中マニピュレータSAMを提案し、ハードウェアと制御戦略、初期実験結果を示した。
- 動画から指の把持力を推定する二ストリーム手法把持力推定2018/3/1
各フレームの空間情報とフレーム間の動き情報を組み合わせた二ストリーム処理により、接触センサなしで動画から指の把持力を推定する手法を提案した。
- ねじ締め・緩めの触覚特性とスマート工場の分解作業への応用触覚2018/1/1
人がねじを回す際の力の加え方を実験で調べ、カムアウト防止の軸力がトルクに比例することやねじ頭形状の影響を明らかにし、分解ロボットRecyBotの制御設計に応用した。
- 目的地指定だけで動くテレプレゼンスロボットの半自動制御テレプレゼンス/半自動制御2017/9/1
映像上で目的地を指定するだけでロボットが自動で移動・衝突回避する新しい操作インターフェースを提案し、従来操作より作業が7〜28%速く、ミスが17〜49%少ないことを示した。
