Byoung-Tak Zhang
収録論文 25本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- DialogMem:3D環境における対話に基づく身体性記憶の評価身体性記憶/ベンチマーク2026/10/17
RGB-D観測と対話を時間同期させて記憶を構築し、物体ナビゲーションとQAで評価する2段階ベンチマークを提案。対話を視覚記憶に追加するとQAは向上するがナビゲーション改善は小さく、物体レベルでの対話の接地が課題だと示した。
- 生涯ロボット学習のための疎なアダプタ割当・再利用・統合手法SARAMVLA2026/10/17
新タスクごとに疎な層だけにアダプタを追加し既存の凍結アダプタを再利用、展開時はタスク署名で更新をバックボーンに統合することで、記憶容量と推論コストをタスク数に依存させずに生涯学習を実現した。
- RAIN: 領域認識型インタラクションネットワークによるロボットタスクの汎化VLA2026/10/2
タスクを目標条件付きサブタスクの系列として定式化し、対象領域マスクとアクション種別で指定することで、学習済みスキルを新しい物体やシーン配置に再利用・組み合わせできるVLAモデルを提案した。
- ドメイン不変潜在先読みによるVLAモデルの偽相関の解消VLA2026/9/29
視覚言語行動モデルが視覚分布シフトで脆くなる原因である偽相関を、ドメイン変換軌道から学んだドメイン不変の未来潜在表現で方策を監督することで軽減するDILLを提案し、LIBERO-Plusで平均成功率69.1%を達成した。
- HABILIS Brain 0: 視覚言語行動と残差フロー回復のための幾何変化監督VLA2026/9/22
現在の観測からマルチビューの未来-現在の幾何変化トークンを予測するGC-VLAを提案し、4段階の学習でLIBEROにおいて99.55%の成功率を達成した。
- タスク成功を超えて:センシング劣化下におけるワールドモデル計画の段階別信頼性ワールドモデル計画2026/9/7
ワールドモデル計画におけるセンシング劣化の影響を、表現・予測・計画・物理的結果の各段階で評価し、劣化の影響が段階間で非一様に伝播することを示した論文。
- CDIS: 2Dマスク追跡と3D-2D投影マージによるクロス次元クラス非依存3Dインスタンス分割3Dインスタンス分割2026/7/20
2Dインスタンスマスクをフレーム間で追跡し、3Dスーパーポイントと関連付けることで、3D専用学習なしに一貫した3Dインスタンスラベルを生成するゼロショット手法を提案した。
- DA-Fusion: 変形可能アテンションに基づくRGB-D融合トランスフォーマーによる未知物体のインスタンスセグメンテーションセグメンテーション2026/7/20
RGBと深度データを変形可能アテンションで融合するトランスフォーマーを提案し、物流のビンピッキング等の乱雑環境での未知物体のインスタンスセグメンテーション精度を向上させた。
- Seg2Grasp: ビンピッキングにおける堅牢なモジュール式吸着把持マニピュレーション2026/7/1
ビンピッキングのためのモジュール式パイプラインSeg2Graspを提案。セグメンテーション、把持点計算、分類の3段階で構成し、未知の物体や複雑な環境でも高い把持成功率を実現する。
- 馴染みのある未来への回帰:事前生成マイルストーン選択によるVLAポリシーの失敗回復VLA/失敗回復2026/6/1
VLAポリシーが操作中に軌道から逸脱した際、事前に生成した未来状態のマイルストーンを選択して固定目標とすることで、微調整なしに失敗から回復させる手法を提案した。
- LiDAR位置認識における白色化距離を用いたボロノイベース二次記述子LiDAR位置認識2026/3/1
LiDAR位置認識のための新しいプーリング手法を提案。ボロノイセルの誘導バイアスを二次統計量に統合し、白色化によりマハラノビス距離を暗黙的に測定して性能を向上させた。
- Habilis-β: 高速動作と長時間稼働を実現するオンデバイス視覚言語行動モデルVLA2026/2/1
実環境での連続稼働を想定し、大規模プレイデータでの事前学習と整流フロー蒸留を組み合わせることで、エッジデバイス上で高速かつ長時間安定して動作するVLAモデルを実現した。
- ESPADA: 模倣学習のための意味認識型デモデータ間引きによる実行速度向上模倣学習2025/12/1
VLM-LLMと3D把持物体関係でデモを意味的に区間分割し、重要でない区間だけを間引くことで、再学習なしに成功率を保ちつつ約2倍の速度向上を実現した。
- 疎から密へ:目標指向強化学習における幼児に着想を得た報酬遷移強化学習2025/1/1
幼児の学習過程に倣い、疎な報酬からポテンシャルベースの密な報酬へと遷移させる手法を提案し、ロボットアーム操作や3Dナビゲーションで学習性能とサンプル効率が向上することを示した。
- CLIP-RT: 自然言語監督から言語条件付きロボット方策を学習VLA2024/11/1
非専門家が自然言語でロボットのデモを収集できる枠組みと、そのデータから言語条件付き視覚運動方策を学習するVLAモデルCLIP-RTを提案し、OpenVLAより7倍小さいパラメータで成功率を24%上回った。
- 履歴を考慮した情報融合に基づく計画手法HAPFIVLA2024/7/1
自然言語指示による長期的なタスク遂行のため、エージェントが環境と相互作用しながら収集したマルチモーダルな履歴情報を相互注意融合で活用し、次の行動計画を生成する手法を提案した。
- ソクラテス式プランナー:自己質問応答によるゼロショット身体性指示追従プランニングVLA2024/4/1
大規模言語モデルに自己質問応答させてサブゴール列を生成し、視覚フィードバックで再計画するゼロショットの身体性指示追従プランナーを提案。ALFREDベンチマークで最先端を上回り、実機ロボットでも検証した。
- 深層オートエンコーダによるマルチモーダル異常検知を用いた移動マニピュレーションロボットの物体滑り知覚マニピュレーション2024/3/1
RGB-Dカメラ・マイク・力覚センサのマルチモーダルデータを深層オートエンコーダで学習し、再構成誤差から物体の滑りを異常として検知する手法を提案した。
- マルチオブジェクトRANSAC:雑然とした環境における効率的な平面クラスタリング手法把持2024/3/1
RGB-Dカメラを用いた雑然とした環境向けの平面クラスタリング手法を提案し、ロボットの吸着把持実験で有効性を検証した。
- 単一の人間-ロボットインタラクションによる把持エージェントの個人化マニピュレーション2023/10/1
ユーザーが一度だけ個人の持ち物を提示するだけで、その物体を認識・把持できるようにする手法PGAを提案。未ラベルの環境画像を活用し、擬似ラベル伝播で物体認識モデルを適応させる。
- PROGrasp: 意図推定に基づく対話型物体把持マニピュレーション2023/9/1
「喉が渇いた」のような意図発話から対話を通じて対象物体を特定し把持する新タスクPragmatic-IOGとデータセットIM-Dialを提案し、視覚接地・質問生成・把持・回答解釈を統合したロボットシステムPROGraspを構築した。
- GVCCI: 言語誘導ロボット操作のための視覚的グラウンディングの生涯学習VLA2023/7/1
物体検出から合成指示文を自動生成し、人手アノテーションなしで視覚的グラウンディングモデルを継続的に学習させる生涯学習フレームワークを提案。多様な環境で最大56.7%の精度向上と29.4%の操作性能改善を達成した。
- ゼロからスケッチへ:ロボットスケッチエージェントのための深層分離階層強化学習マニピュレーション2022/8/1
線画描画とモーター制御を同時に学習するロボットスケッチエージェントの自動学習フレームワークを提案し、6自由度ロボットアームで落書きを描く実験で有効性を示した。
- 目標認識型クロスエントロピーによるマルチターゲット強化学習強化学習2021/10/1
複数目標環境での強化学習のため、自動ラベル付けした目標状態を用いる自己教師ありの目標認識型クロスエントロピー損失と、指示に注目する目標識別注意ネットワークを提案し、視覚ナビゲーションとロボットアーム操作で成功率・サンプル効率・汎化性能を向上させた。
- 畳み込みニューラルネットワークによる人体の向き推定人体姿勢推定2016/9/1
軽量な畳み込みニューラルネットワークを用いて、人の体の向きをエンドツーエンドで推定する手法を提案し、サービスロボットが正面から顔を検出しやすくする応用例を示した。
