基于语义身材模型的三维人体重建及编辑

SCAPE 虽然是目前使用最为广泛的参数化人体模型,但它对人体的表达并不直观,通过改变SCAPE 参数并不能方便地按照实际生活中的语义控制人体的胖瘦、姿态等变化。我们提出了一个参数化的语义身材模型,由基于人体部分的语义基及基于整个人体的非语义基组成。首先,我们将人体划分成各个部分,并利用主成分分析方法分析数据库中人体对应部分在长度及围度方向上的身材变化,学习得到语义基。随后,我们仅使用语义基表达人体,对其与Ground Truth之间的残差做主成分分析,学习得到非语义基。

如图所示,基于语义身材模型,我们提出了一个根据身材尺寸对三维人体身材进行编辑的框架。考虑到用户往往没有所有的身材尺寸信息,我们首先基于相关性学习了身材尺寸之间的关系,以根据一个或多个身材尺寸估计所有身材尺寸。基于训练的数据库,我们还学习了身材尺寸与人体参数之间的关系,以根据身材尺寸回归人体参数,进而重建三维人体。

基于语义身材模型的三维人体重建及编辑总体框架