日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2609.07135

NutriBench-Kitchen:栄養管理のための身体化AIベンチマーク

NutriBench-Kitchen: Benchmarking Embodied AI for Nutrition Management

シェア:XThreadsFacebookLINEはてブBluesky

調理動画における栄養関連状態の追跡と知識に基づく計画を評価するベンチマークを提案し、既存の視覚言語モデルが人間性能に及ばないことを示した。

詳しい要約

1. どんなもの?

NutriBench-Kitchenは、動的なキッチン環境におけるEmbodied AIの栄養管理能力を評価するためのベンチマークである。160の調理ビデオから1,500の手動検証済みの質問応答ペアを含み、Ingredient Entry、Memory Management、Recipe Query、Long-Term Planning、Short-Term Planningの5つのタスクファミリーをカバーする。また、診断用の長動画エージェントNutri-Vgentも導入する。

2. 先行研究と比べてどこがすごい?

既存のベンチマークは静的な食品理解やEmbodiedな調理動作を評価するが、エージェントが動的キッチンで栄養関連の状態を継続的に更新し利用できるかは測定していない。NutriBench-Kitchenは、栄養関連イベントの認識、持続的な食品状態の維持、知識に基づく計画を統合したEmbodied Nutrition Managementを形式化し、この能力を評価する初のベンチマークである点が優れている。

3. 技術・手法の肝は?

手法の肝は、ベンチマーク設計と診断エージェントの2点。ベンチマークは、調理ビデオから栄養関連の状態構築、維持、知識検索、意思決定をカバーする5つのタスクファミリーを定義する。Nutri-Vgentは、エピソード記憶、食品状態記憶、レシピ記憶を分離した長動画エージェントで、明示的な状態表現と構造化メモリを活用する。

4. どうやって有効だと検証した?

proprietaryおよびopen-sourceの大規模視覚言語モデルを評価し、人間のパフォーマンスとの大きなギャップを明らかにした。特に、定量的な食材推定、長期的な状態追跡、相互作用する制約下での推論でギャップが顕著である。Nutri-Vgentの一貫した改善により、明示的な状態表現と構造化メモリの価値を実証した。

5. 議論はある?

要旨からは、ベンチマークの限界や議論についての詳細は不明。ただし、大規模視覚言語モデルが人間のパフォーマンスに及ばない点、特に定量的推定や長期的追跡の課題が示唆される。また、Nutri-Vgentの改善はあるものの、完全な解決には至っていない可能性がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、静的食品理解のベンチマーク(例:Food-101)やEmbodied AIのベンチマーク(例:ALFRED)が考えられる。また、長動画理解のためのベンチマークや大規模視覚言語モデルの評価に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yulin Wei, Xiangchen Wang, Jianhui Pan, Jinyu Xiao, Zheng Tan, Ruozai Tian, Guanhua Chen, Feng Zheng

分類: cs.CV

原文アブストラクト

An embodied kitchen assistant must do more than recognize food in isolated frames. It must track ingredient states over time and integrate visual observations with recipe and nutritional knowledge to support constraint-aware decision-making. We formalize this capability as \emph{Embodied Nutrition Management}: perceiving nutrition-relevant events, maintaining a persistent food state, and using it for knowledge-grounded planning. Existing benchmarks evaluate static food understanding or embodied cooking actions, but do not measure whether an agent can continuously update and use nutrition-relevant states in dynamic kitchens. To fill this gap, we introduce \textbf{NutriBench-Kitchen}, a benchmark containing 1,500 manually verified question--answer pairs from 160 cooking videos. It covers five task families: Ingredient Entry, Memory Management, Recipe Query, Long-Term Planning, and Short-Term Planning, spanning food-state construction, maintenance, knowledge retrieval, and decision-making across different planning horizons. Evaluations of proprietary and open-source large vision-language models reveal a substantial gap from human performance, particularly in quantitative ingredient estimation, long-term state tracking, and reasoning under interacting constraints. We further introduce \textbf{Nutri-Vgent}, a diagnostic long-video agent with separate episodic, food-state, and recipe memories. Its consistent improvements demonstrate the value of explicit state representations and structured memory for nutrition management. Together, NutriBench-Kitchen and Nutri-Vgent provide a testbed for studying persistent state tracking and knowledge-grounded reasoning in dynamic kitchens. Code is available at https://github.com/V1ol1n/NutriBench-Kitchen.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI