微分可能な物理レンダリングによるオンライン・オフライン手書きの橋渡し

本論文は、オンライン手書き（軌跡）とオフライン手書き（画像）を統合するためのフレームワークを提案している。具体的には、物理的なブラシモデルと微分可能なレンダリングモジュールを導入し、テキストとスタイル画像から手書き画像を生成する。フレームワークは、テキストからストロークを予測するtext-to-stroke generator、スタイル参照からブラシパラメータを抽出するbrush parameter observer、ストロークとパラメータを画像に変換するdifferentiable brush renderer、そして拡散モデルによるzero-shot image refinerの4つのモジュールで構成される。

従来のオンライン手法は構造的・時間的ダイナミクスを捉えるが、テクスチャが不十分であり、オフライン手法は見た目はリアルだがストローク順序を失う。両者を統合する試みは、運動学とピクセル外観を結ぶ物理モデルの欠如と、ペアの軌跡-画像データセットの不在により困難だった。本提案は、コンパクトな物理ブラシモデルと微分可能レンダリングを導入することで、これらのギャップを埋め、エンドツーエンドの学習を可能にした点が新しい。

手法の核は、ストロークダイナミクスと視覚的外観を橋渡しするコンパクトな物理ブラシモデルと、ストローク軌跡をスタイライズ画像に変換する微分可能レンダリングモジュールにある。フレームワークは4つのモジュールで構成され、text-to-stroke generatorがテキストとスタイル画像からストロークを予測し、brush parameter observerがスタイル参照からブラシパラメータを抽出し、differentiable brush rendererがストローク系列と物理パラメータを手書き画像にマッピングし、zero-shot image refinerが拡散モデルでレンダリング画像を洗練する。

広範な実験と実世界のロボット書道デモンストレーションにより、構造的および視覚的忠実度の両方を達成することを検証している。具体的な評価指標や比較対象は要旨からは不明だが、実ロボットでのデモが有効性を示す証拠として挙げられている。

要旨からは、提案手法の限界や議論点は明示されていない。ただし、物理モデルの単純化や拡散モデルによるrefinerの計算コスト、実データでの汎化性などが潜在的な課題として考えられるが、要旨には記載がないため不明。

要旨で参照されている関連研究は明示されていないが、オンライン手書き生成、オフライン手書き合成、微分可能レンダリング、拡散モデルを用いた画像生成などの分野の論文が関連する。具体的には、手書き軌跡生成のためのRNNやTransformerベースのモデル、手書き画像生成のためのGANや拡散モデル、物理ベースのレンダリングに関する研究が挙げられる。