新型美颜技术让你变明星
新型美颜技术让你变明星
图片美化前后对比图 图片来源:西弗吉尼亚大学
发布自拍前美颜一下,已成为当下爱美一族的常规操作。但是,无论如何美化,美丽的世界仍有一些难以逾越的门槛,比如面部五官的形状等难以美化。近日,西弗吉尼亚大学和ObEN公司提出了一种新型人脸美化技术,能够基于参照图像提升人脸的颜值,也就是说你的自拍也能变得跟明星一样美。相关论文成果发布在提交论文预印本的平台arxiv.org上。
目前,人脸美化通常基于美妆应用或妆容迁移思想的虚拟人脸美化技术,其中包括 PairedCycleGAN、BeautyGAN、BeautyGlow。其实,妆容迁移只是风格迁移的一种特例,其中描述风格的只有局部特征而已,比如眼影或唇彩。
该论文作者Xudong Liu希望搭建一种更通用的解决方案,能够同时迁移参照图像全局和局部风格代码,通过一到多转译来描述人脸美化的过程。一方面,可通过参照图像逐渐迁移所学习的美颜表征,得到颜值单调增长的输出图像。另一方面,通过学习一系列参照图像得到多种不同的个性化美化结果。
为了实现这一目标,研究人员提出了一种全新的生成对抗网络(GAN)架构。结合近期在基于风格的合成和基于数据的人脸颜值理解方面的最新进展,将基于风格的美颜表征和数据库训练得到的颜值预测整合进人脸美化的过程中。具体来说,基于风格的美颜表征将通过轻量卷积神经网络(LightCNN),从待美化和参照图像中提取,然后将其用于引导风格迁移过程,即美化过程。
Xudong Liu表示,基于 LightCNN 的微调训练了一种人脸颜值预测网络,并将其整合进了新提出的基于风格的人脸美化网络中。这个预测模块能为合成模型提供有价值的反馈,从而接近所需的颜值。
而后,研究人员构建了一个整合重建损失、美颜损失和身份损失函数的专用的基于 GAN 架构。为了对美化过程有细粒度的控制,同时还发明了一种简单但有效的重新加权策略,可逐渐提升合成图像的颜值,直到其达到参照图像水平。
研究人员介绍,这样的人脸美化问题可以表述为两个子问题:风格迁移和颜值预测。随着细粒度的风格迁移的进行,被美化的目标人脸的颜值会单调增长,向参照人脸的颜值靠拢。
评估发现,相比于 CycleGAN、MUNIT 和 DRIT 等当前最佳的图像到图像转译技术,新提出的方法表现更优,甚至能稳健地处理模糊和高难度光照条件下的低质量图像。
但是,研究人员也注意到,当输入存在较大遮挡和姿势差异时,模型往往会产生一些可见的伪影。主要原因是参照图像基本都是正脸图像,而较大遮挡和姿势差异会导致无法很好地对齐。
研究界认为,该研究提供了首个用细粒度控制人脸美化结果的方案,并且实现了美颜效果的定量控制,这种人脸美化技术应用起来更加灵活。(来源:中国科学报 卜叶整理)
同类文章排行
- 清华大学召开2019年度教学研究机构工作交流会
- “清华教育在线”:相信创新的力量,相信市场
- 【人物】董晨:用30年,做好一件“每天都不一样
- 清华大学与华能集团共建基础能源联合研究院
- 熊剑平:这是历次训练演练以来表现发挥最好的一次!
- 吴冠中:为美育的人生
- 2020新年音乐会精彩上演 新清华学堂2019年度演出
- 王健林又悄悄卖了几家万达广场!保险、信托接
- 清华研究生王宇晨顺利完成造血干细胞捐献
- 清华大学举行2020年少数民族学生新年联欢晚会
最新资讯文章
- 清华大学组织首届世界大学气候变化联盟青年团
- 邺架轩读书沙龙第17期举行 格非、张芬畅谈文学
- 清华大学举行2020年少数民族学生新年联欢晚会
- 清华附小冰球队夺得首届全国中小学生冰球联赛
- 2020新年音乐会精彩上演 新清华学堂2019年度演出
- 传统技艺启发当代创新 非物质文化遗产在清华课
- 海外网络传播,内地高校差几许
- 教育部将在部分高校开展基础学科招生改革试点
- 2019全球教育关键词
- “蹭课”制度化当不限于北大清华
- 革命老区焕新颜,扶贫振兴再长征
- 清华研究生王宇晨顺利完成造血干细胞捐献
- 工业工程系赴山东胶州开展扶贫调研
- 清华师生赴希腊、塞尔维亚开展“知行计划”海
- 【微观清华】清华大学药学院和GHDDI免费开放药物
- 20200202,清华鼠年初雪说爱你
- “我们的使命就是把物资安全地运回学校”
- 今天是你的生日,我的中国
- 国旗,从清华园升起
- 【组图】2019年清华研究生运动会为祖国喝彩