有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？ 第1页

虚拟试衣（Virtual Try-On）就是一个Vision和Graphic相结合的应用。首先，虚拟试衣这个任务的设定基本上是，给定一个人和一件衣服，生成一张图片让这个人穿上这件衣服。

对于这个任务，如果想要人的身材和衣服的物理性质被完美模拟的话需要，需要精准用graphic技术对衣服和人进行3D建模。但是考虑到数据收集的成本和运算时间，一些vision people提出算法，用GAN或者别的neural network来取代某些建模的步骤。虽然并不能保证衣服的物理性质完全正确，但也是plausible的。

比如VITON（Han et al. CVPR 2018) 完全把这个task当成一个2D image task来做——直接以一张人的图片和一张衣服的图片作为输入，然后用GAN来直接生成这个人穿上这件衣服的样子。这种模型end-to-end，不涉及到任何3D运算。

再比如比如NHRR（Sarkar et al. ECCV 2020）2D转3D，先用densepose+SMPL把一张2D人像照片转换成3D人体模型，再用neural network从2D的衣服上学UV map，把衣服render到3D人体模型上。

最后如果对纯2D的虚拟试衣模型感兴趣可以阅读我的文章

References

Han, Xintong, et al. "Viton: An image-based virtual try-on network."Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

Sarkar, Kripasindhu, et al. "Neural re-rendering of humans from a single image."European Conference on Computer Vision. Springer, Cham, 2020.