日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

認識/展開arXiv:2604.25949

FalconApp: 自動ラベル付き合成データによるエンドツーエンド認識のiPhoneへの迅速展開

FalconApp: Rapid iPhone Deployment of End-to-End Perception via Automatically Labeled Synthetic Data

シェア:XThreadsFacebookLINEはてブBluesky

iPhoneアプリで物体を撮影するだけで、マスク検出と6自由度姿勢推定の認識モジュールを自動生成・展開するパイプラインを提案。

詳しい要約

1. どんなもの?

- iPhoneアプリFalconAppを提示。 - 短い手持ち撮影から剛体物体のmask検出と6-DoF pose estimationを行う知覚モジュールを生成。 - フロントエンドとバックエンドのend-to-endパイプライン。 - 合成データ生成と学習を経てiPhoneに再デプロイ。

2. 先行研究と比べてどこがすごい?

- 実世界データセットは手動アノテーションが重く時間がかかる。 - FalconAppはphotorealistic auto-labeling workflowで自動化。 - 短い動画から知覚モジュールを迅速に構築。 - 物体ごと約20分で合成データ生成と学習を完了。

3. 技術・手法の肝は?

- ユーザー撮影動画から編集可能なGSplat assetを再構成。 - 多様なphotorealistic背景と合成。 - ground-truth maskとpose付き合成画像をレンダリング。 - 知覚モジュールを学習しiPhoneフロントエンドにデプロイ。

4. どうやって有効だと検証した?

- 幾何と外観が多様な5つの剛体物体で実験。 - 物体ごと平均約20分の合成データ生成と学習。 - iPhone上でend-to-end約30 msのレイテンシ。 - シミュレーションと実世界評価の両方で、5物体中4物体でPnPベースラインより全体的なpose精度が向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- PnPベースライン。 - GSplat。 - 関連手法としてphotorealistic auto-labeling、6-DoF pose estimation、mask detection。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yan Miao, Will Shen, Sayan Mitra

分類: cs.RO

原文アブストラクト

Reliable perception for robotics depends on large-scale labeled data, yet real-world datasets rely on heavy manual annotation and are time-consuming to produce. We present FalconApp, an iPhone app with an end-to-end frontend-backend pipeline that turns a short handheld capture of a rigid object into a perception module for mask detection and 6-DoF pose estimation. Our core contribution is a rapid mobile deployment pipeline paired with a photorealistic auto-labeling workflow: from a user-captured video of an object, FalconApp reconstructs an editable GSplat asset, composites it with diverse photorealistic backgrounds, renders synthetic images with ground-truth masks and poses, trains the perception module, and deploys it back to the iPhone frontend. Experiments across five rigid objects with diverse geometry and appearance show that FalconApp produces usable perception models with about 20 minutes of synthetic-data generation and training per object on average, around 30 ms end-to-end on-device latency on iPhone, and better overall pose accuracy than a PnP baseline on 4 / 5 objects in both simulation and real-world evaluation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI