人工智能意为计算机像人一样拥有智能能力，是一个融合计算机科学、统计学等多领域知识的前沿综合学科，可以代替人类实现识别、认知、分析和决策等多种功能，是近年来计算机领域发展的前沿方向。虚拟美妆则指的是通过计算机技术，在计算机的虚拟空间中模拟真实的美妆效果，以突破时间和空间的限制，为用户提供便捷化、智能化、个性化的美妆服务。

随着学术研究及相关技术的不断发展，人工智能已逐渐从概念成为具体落地的应用，从单纯的科学研究成为全社会热烈讨论的话题，渗透到了日常生活中的各个角落。各行各业也都紧跟时代的发展趋势，纷纷引入人工智能技术助力本领域的发展，结合自身行业特点来为消费者创造更加高效便捷的服务。作为时尚潮流的引领者，美妆领域自然不会落后，无论是学术界还是工业界，都在以各自的方式推动着人工智能与美妆的巧妙融合，为这一领域的发展创造出了更多的可能。

1.技术简介

人工智能技术的不断发展，为美妆相关技术的进步和完善提供了强大的动力，美妆与智能技术的结合具有广阔的应用领域和多样的发展方向，从技术方法维度来说，虚拟美妆包含传统方法、图形学方法、深度学习方法等多个技术方向。图1 示出了虚拟美妆上妆前与上妆后的对比。

图1.虚拟美妆示意图

2.传统方法

经典的虚拟美妆技术主要是利用人脸关键点检测技术及妆容模板来实现的。人脸关键点检测即为利用算法自动定位人脸图像的面部关键点的位置，如眼睛、鼻子、眉毛、 脸颊等各部位轮廓的准确位置，如图2所示

图2 .人脸关键点检测示意图

这项技术的应用也很广泛，比如人脸图像编辑、人脸动画自动合成等。由于遮挡、光照条件、人脸姿态、个性化差异等因素的影响，准确而快速地实现人脸关键点的定位存在一定的难度。传统的研究工作主要聚焦于人脸形状的建模工作，着力解决人脸表观图像与 人脸形状的建模及相互关联的问题，而随着近年来深度学习的发展，人脸关键点检测这一领域中也涌现出了许多深度学习方法的优秀工作。时至今日，人脸关键点检测技术的精度及速度均得到了极大地提升，其能够检测出的关键点数量也越来越多，已达到数十个甚至一二百个关键点。妆容模板顾名思义，即为根据真实妆容色彩、形状、光泽而预先制作的通用模板，一般按照美妆部位分为眼影、唇彩、腮红、睫毛模板等。

经典虚拟美妆方法之一为模板匹配方法，整体流程为首先检测出人脸图像的关键点；然后通过几何学算法，将妆容模板通过几何变换转化到合适于人脸的形状；再利用融合算法将妆容模板与人脸图像真实、自然地合成；最终完成虚拟美妆工作。许多工作采用了这一思路，如发表于 AAAI 2017的Examples-Rules Guided Deep Neural Network for Makeup Recommendation 妆容合成部分的工作即采用了这一思路，其具体图示如图3 所示。

图3.虚拟美妆的模板匹配方法示意图

这种方法的最大优点在于算法简洁、时间空间开销代价小、容易部署，但是其美妆效果也极端依赖于人脸关键点检测的准确性，若检测不准确则会出现上妆位置偏移的问题。

除了模板方法外，传统的虚拟美妆方法还包括基于分层处理思想的方法。如发表于CVPR 2009的经典美妆方法Digital Face Makeup by Example，这一方法的目的在于实现妆容迁移功能，即将某张已化妆人脸上的妆容迁移到未化妆的人脸上，我们称提供妆容样例的已化妆图像为样例图像（Example image），而未化妆的图像为主体图像（Subject image）。这一方法的流程如图 4 所示。

图4.DigitalFace Makeupby Example 方法流程示意图

传统虚拟美妆还有计算机图形学的方法，其隶属于计算机图形学领域，一般利用物理学模型、3D人脸几何特征等方法实现虚拟美妆。CVPR 2015的论文 Simulating Makeup through Physics-based Manipulation of Intrinsic Image Layers即介绍了一种这一类别的方法，其将图像分为反射层、漫反射层、镜面高光层三个层级，利用粉底、唇彩、眼影等不同部位妆容的反射率等物理性质不同特点，依据物理学原理分别建立各个层级的反射模型，通过这些模型实现虚拟美妆。其能够较好地在实现美妆效果的同时，保持好原本图像的人脸外表特征和光照条件。

3.结合深度学习技术

随着有关人工智能研究的持续深入和技术的不断发展，深度学习技术逐渐得到了广泛的应用。深度学习是实现人工智能的重要手段之一，其利用深度的神经网络，使模型对数据的理解更加深入，在计算机视觉、自然语言处理、推荐系统等多个领域实现了重要的突破，取得了很好的效果。

传统的机器学习方法中需要依靠手工选取特征，而这十分依赖专业知识、领域经验和反复尝试，需要耗费大量的时间及精力。使用深度学习则可以省去特征工程这一繁杂的过程，其通过特征学习和分层算法自动提取特征，替代了特征的手工获取。随着自身理论算法的飞速发展，深度学习越来越受到重视，再加上硬件的不断升级优化，以及互联网时代海量数据的产生，训练复杂网络成为了可能。

近年来，出现了将深度学习方法引入虚拟美妆领域的工作，比较有代表性工作的包括IJCAI2016 中的文章Makeup like a superstar: Deep Localized Makeup Transfer Network，这一方法率先将基于深度学习的人脸图像分割、风格转化和美妆结合，提出了一整套妆容迁移的方法。

此方法首先通过改进的图像分割网络 FCN实现人脸的部件分割，提取出脸、眼睛、眼影区域、嘴唇眉毛等部位的区域范围。具体 FCN 的改进工作包括将普通的损失函数变为基于类别相关的自适应权重损失函数、在测试阶段进行图像空间对称的置信度平均等。然后利用基于神经网络的风格转化技术对分割后的各个美妆部位分别进行妆容迁移工作，即通过约束未上妆的原始图像和带妆的参考图像在神经网络中的特征向量尽可能相似，来实现从原始图像到参考图像妆容风格的转化。其网络结构如图5所示。

图5.Makeuplikea superstar 方法框架示意图

这一方法使用深度学习技术，以美妆部位为基础进行妆容迁移工作，同时兼顾了整体的自然性及身份信息保持，取得了比较好的妆容迁移效果。

4.GAN 方法

GAN 为生成对抗网络Generative Adversarial Networks 的简称，由 Goodfellow 在 2014 年提出，自其被提出短短几年来受到了非常火热的关注，在许多的视觉应用领域做出了贡献。GAN框架一般拥有两个组成部分，一个是生成模型G；一个是判别模型 D。在训练过程中，会把生成模型生成的样本和真实样本随机地传送给判别模型 D。判别模型 D的目标是尽可能正确地区分出真实样本和生成样本，而生成模型 G的目标就是尽可能生成足够真实的生成样本来欺骗判别模型D。这样G 和 D 就组成了一个min-max game，在训练过程中双方都不断优化自己，直到两者都达到比较好的效果，最终我们可以利用训练后的生 成模型生成比较真实的结果。

前面提到的方法都属于通用的图像编辑方法，可以应用到众多领域，包括从简笔画生成真实图片、照片的风格转化、人脸生成及属性编辑等。具体到GAN与美妆技术的结合来说，实际现阶段暂时还没有更多专门针对美妆任务的与GAN 相关的方法，更多的是针对通用图像编辑的GAN 模型以及针对人脸属性编辑的方法，如通过 GAN 模型改变头发颜色、年龄、性别、配饰等。美妆任务其实也可以理解为是一种人脸的属性编辑任务，利用GAN方法来实现是完全可行的，现在业内大量的实验也证明了基于GAN 方法的美妆技术是可以得到较好的结果的。

当然，现阶段常见的GAN 模型往往只能生成较低分辨率的图片，如256×256 大小的图片，同时图像生成的质量也有一定不足。目前也有一些针对图像质量与分辨率进行提升的工作，其大致思想都是通过逐渐增大图像生成的尺寸来生成高清图片，最终实现了1024 像素以上分辨率图像的生成。但是，这些方法需要较大的空间与时间代价。相信随着技术的不断发展，通过GAN技术生成足够真实的美妆效果并不遥远。

5.妆容去除

除了虚拟美妆，还有一个与美妆相关的有趣领域，即妆容去除。其实际上是一种图像修复技术的拓展，妆容去除任务认为，美妆图片实际上是未上妆的真实图片经过磨皮、美化等类似编辑后得到的结果，在编辑过程中，真实图片损失了皱纹、真实肤色、肤质细节等信息。妆容去除的目的即是恢复这些编辑过程，将美妆图像复原至原始的真实状态。

这一方向的代表为ICCV 2017 的 oral 文章Makeup-Go: Blind Reversion of Portrait Edit，其基于主成分分析（PCA）方法，分析了不同层级的成分所包含图像信息的差异，通过将图片分为多个维度后送入神经网络进行编辑，最后进行图像合成，实现了较好的人像图片编辑恢复效果。

6.商业应用

虚拟美妆技术并不是只停留在学术论文与实验室中的技术，其已经有了许多进入市场的商业应用。这些应用的主要功能集中于虚拟试妆、发色编辑、肤质检测、妆容推荐等功能。同时，由于美妆行业的消费特性十分明显，虚拟美妆相关的应用往往与化妆品品牌有紧密 的联系，其常作为美妆品牌的在线试用功能或与美妆电商结合的辅助购物功能而出现。

国外比较知名的应用包括加拿大的 ModiFace 公司开发的一款实时的虚拟试妆系统，其能够实现唇彩、眼影等多种妆容的试妆，同时通过与美妆品牌的合作，用户可以通过手机App 或网页足不出户地体验各种品牌各种型号的美妆产品。同时，ModiFace 已和知名美妆零售店 Sephora 达成合作，在Sephora 的某些门店即可体验到这一系统，其效果如图 6 所示。此外，著名品牌雅诗兰黛也在其官网提供了虚拟试妆的服务，效果 如图 7 所示。

图6.Sephora 门店中的虚拟试妆系统

图7.雅诗兰黛官网上的虚拟试妆及产品销售功能

人工智能实际上是一个比较宽泛的概念，其包含了许多不同的分支方向，如计算机视觉、自然语言处理、推荐系统、搜索等多种领域，这些领域或多或少地都与虚拟美妆技术的发展产生了联系，推动着美妆领域在信息时代的进一步发展。相信随着相关研究的不断深入以及技术的不断进步，在广阔的美妆市场和实际应用需求的驱动下，人工智能技术将在美妆领域中 扮演更加重要的角色，推动这一领域更好的发展。

文章来源：人工智能通讯第2期（包仁达，刘偲）

原文：人工智能与虚拟美妆

包仁达

中国科学院信息工程研究所硕士研究生。在CVPR，ACM MM 等国际会议和期刊发表多篇论文，并作为队长获得 2016 年ccf 大数据与计算智能大赛综合特等奖。主要研究方向为图像语义分割、GAN。

刘偲

中国科学院信息工程研究所副研究员。发表多篇 TPAMI、IJCV、CVPR 论文。中国科协青年人才托举工程（2017—2019 年度）入选者，微软亚洲研究院铸星计划研究员。以图像视频中的人物分析为切入点开展图像视频理解研究。