|期刊分享|深度学习|基于条件生成对抗网络的人脸老化

  • 时间:
  • 浏览:83
  • 来源:bet登录入口网站

编者推荐序:本文提出了两种年龄条件生成对抗网络acGAN,首次实现了指定年龄段的高质量图像合成,且保留了辨识度高的个性信息。整体来讲,作为GAN的应用,本文算法是极其成功的。此外,本文改进的生成器,也可用于图像相关应用方向的样本生成。


推荐指数 ☆☆☆☆☆


一、引言

人脸老化(Face aging)是指根据自然年龄渲染出个体人脸图像,也叫年龄合成(age synthesis)或年龄递进(age progression),广泛应用于交叉年龄人脸识别、失踪儿童找寻和娱乐等领域。传统的人脸老化法律法律法律依据都还可不可以 了粗略的分为原型(Prototyping)和模型(Modeling)两类法律法律法律依据。原型法律法律法律依据在预定义的年龄分组中估计平均脸,那先 人脸之间的差异构成的老化模式,用于将输入的人脸图像转化为目标年龄组。原型算法简单快速,但肯能是基于一般规则的算法,全部抛弃了个性化信息,是原应产生不切实际的图像。模型法律法律法律依据建立特定个体的肌肉、皮肤和颅骨老化机制仿真模型,然而肯能常常还可不可以 了同一俩或多或少人很大范围年龄段的人脸老化序列,是原应分类分类整理成本很昂贵。

传统的人脸老化法律法律法律依据在建模老化模式上缺少对人脸的全局理解,如人格特质、面部表情等。但在实际应用中,人脸老化必还可不可以 了和是否是戴眼镜、留胡须等或多或少特征结合使用,这就还可不可以 了人脸的全局生成模型。尽管自然图像生成肯能研究统统年了,但直到2014年角度学习才被用于产生图像样本和高保真插值,最主要的模型是生成对抗网络(Generative Adversarial Network,GAN)。与最优化2范数重建损失生成模糊图像的自编码器相比,GAN训练生成最现实和逼真的图像,且与真实图像这麼辨别。GAN肯能被用于改变人脸,如改变头发颜色、增加一副眼镜或使看起来年轻些或老些等。本来上述基于GAN的人脸改变法律法律法律依据存在常常在改变图像中丢失原始或多或少人特质的问提。

本文聚焦于特质保存人脸老化(focus on identity-preserving face aging),主要贡献为:a、设计了年龄条件生成对抗网络(Age Conditional Generative Adversarial Network,acGAN),首次实现了指定年龄段的高质量图像合成;b、提出了两种新的特征向量(latent vector)优化法律法律法律依据,使得acGAN在冲击输入图像时保留原始个性。

二、所提算法

本文人脸老化法律法律法律依据是基于acGAN,两种指定年龄段的人脸合成的生成模型。一旦acGAN训练好,人脸老化步骤为:a、输入年龄为y0的人脸图像x,以重建图像x1=G(zStar,y0)尽量逼近与初始图像为目标函数,优化得到最优的特征向量zStar;b、指定目标年龄yTarget,生成人脸图像xTarget=G(zStar,yTarget),如下图所示。

其中,第一步的输入人脸重建至关重要,还可不可以 了保留原始个性。

2.1 年龄条件生成对抗网络

GAN由生成器(generator)G和辨别器(discriminator)D一对儿神经网络构成。G将分布为p_z的噪声空间N_z的向量z映射到图像空间N_x,生成器的目标是建立图像空间N_x的分布模型p_data(本文中p_data是所有肯能的人脸图像的分布)。辨别器目标是区分服从分布为p_data的真实图像和益成器产生的合成图像。或多或少八个网络以极小极大对策迭代交替优化,这本来“对抗”名字的由来(Both networks are iteratively optimized against each other in a minimax game, hence the name “adversarial”)。

条件生成对抗网络(Conditional GAN,cGAN)是GAN模型的扩展,允许生成指定属性(attributes,conditions)的图像生成。实际上,条件y(属于N_y)都还可不可以 了是与目标人脸图像相关的任何信息:曝光度、面部姿态或面部属性。cGAN训练可描述为函数v(theta_G,theta_D)的优化,其中theta_G和theta_D分别为G和D的参数:

acGAN将条件信息引入G的输入和D的第一八个卷积层,采用ADAM算法优化,迭代1150次在现代GPU上大约还可不可以 了一天时间。为了编码年龄且在实验中每个年龄段均有大约11500个样本,,将年龄分为6段:0-18,19-29,150-39,40-49,150-59和150岁以上,曾经,acGAN的条件是6为one-hot向量。

2.2 acGAN近似人脸重建

2.2.1 初始特征矢量近似

与自编码器不同,cGAN并这麼明确的数学公式将属性为y的输入图像x映射为特征矢量z:x=G(z,y),本文通过训练近似逆映射的神经网络编码器E外理该问提。为了训练E,一帮人一帮人一帮人一帮人一帮人 产生了6万的合成数据集(x_i,G(z_i,y_i)),其中z_i是服从标准正态分布的随机特征向量,y_i服从在八个类别中的均匀分布,G(z,y)是预先训练的acGAN生成器,x_i=G(z_i,y_i)是合成的人脸图像。训练E的目标函数是最小化估计特征向量E(x_i)和真值(ground truth)特征向量z_i二者的欧氏距离。

尽管GAN都还可不可以 了说是目前最强大的生成模型,但不让说能精确的重建所有实际生活中的人脸图像,肯能那先 图像的面部细节、配件和背景灯是否是尽的肯能性,统统还可不可以 了是近似重建。本来,E产生的初始特征向量z_0对优化算法初始化来说肯能足够好了。

2.2.2 特征矢量优化

本文认为,人脸老化任务中,尽管年龄变了,但个性(identity辨识度)应该全部保留。在下文的实验中会发现,尽管E产生的初始特征向量近似z_0重建的人脸图像视觉上还都还可不可以 了,本来个性却损失了大约150%。本来,初始特征向量近似z_0还可不可以 了提高。

为了外理此图像重建增强问提,有的学者提出优化特征向量的目标函数选为:最小化重建图像和真实图像的像素级欧氏距离。本来缺点有两点:增大了重建模糊;过于关注对个性辨识不让说要的细节,如背景、眼镜、发型、胡须等。

本文提出了两种新的“Identity Preserving”特征向量优化法律法律法律依据,核心思想很简单:给出都还可不可以 了识别输入图像个性的人脸识别神经网络(face recognition neural network)FR,原始图像x和重建图像x_est的差异都还可不可以 了表达为FR(x)和FR(x_est)之间的差异,一帮人一帮人一帮人一帮人一帮人 选最小化FR差的2范数作为目标函数。本文FR是“FaceNet”CNN网络内部部署的。不同输入生成器G和人脸识别网络FR不同,统统最优化问提都还可不可以 了利用L-BFGS-B算法通过回溯线搜索求解。

三、实验

本文acGAN在IMDB-Wiki_cleaned数据集上训练,该数据集是IMDB-Wiki的一八个子集。IMDB-Wiki_cleaned所含12万张图像,11万用于训练,1万用于评估。

使用acGAN产生的不同年龄段的合成人脸如下图所示。每行代表一八个随机特征向量z,每列代表不同的年龄条件y。一帮人一帮人一帮人一帮人一帮人 发现,acgan完美分解了特征向量Z和条件Y,使它们独立编码图像信息。特征向量z编码个性、面部姿态和发型等,y仅仅编码年龄。

为了客观测量acGAN产生不同年龄段人脸的性能,一帮人一帮人一帮人一帮人一帮人 使用了目前最好的(state-of-the-art)年龄估计CNN网络,比较该CNN网络在1万真实测试图像和1万acGAN合成图像上的性能。尽管年龄估计CNN网络在训练时从来这麼见过合成图像,但在合成图像上的年龄估计准确率仅比真实图像低17%。这表明了acGAN都还可不可以 了用来产生不同年龄的近似人脸图像。

或多或少测试样例、初始化、优化重建及不同年龄段的重建依次如下图中各个子图所示。

为了客观两种比较个性保留人脸重建算法,使用目前最好的开源人脸识别软件OpenFace进行测试。给定两张图片,OpenFace能判断一帮人一帮人一帮人一帮人一帮人 是否是同一俩或多或少人。下表给出了OpenFace认为输入图像和重建图像时同一俩或多或少人的百分比,展示了本文算法的性能之极高。


英文题目:FACE AGING WITH CONDITIONAL GENERATIVE ADVERSARIAL NETWORKS

原文连接:https://arxiv.org/pdf/1702.01983.pdf


互动:Face aging应该翻译成人脸老化还是面部老化?请留言探讨。


死磕自律,遇见更好的或多或少人;认知升级,助你长出强两翼!


关注该头条号,一起创造奇迹。