科学家滤镜 (人工智能还原西方写实油画)

应该不少人用过吧,无论是instagram还是美图秀秀,都有的滤镜功能:把照片转化成各式各样的图画,你可以选择油画、铅笔画或者木版画。

但是现在,我们已经可以反向操作了!把图画还原成照片!像这样!

科学家滤镜,科学家研究出异形

科学家滤镜,科学家研究出异形

来自加州大学伯克利分校AI实验室的研究者发明了一种“图片-图片转换法”,可以将图片重建构造成照片。这项技术被称作“循环式生成对抗网络”,可以使图像在没有对照数据的情况下,从源域X转换为目标域Y,实现输入图像和输出图像之间的映射。

换句话说,就是照片可以转换成图片,图片也可以重构成照片啦,这一过程可以一直循环!

科学家滤镜,科学家研究出异形

我们常规上觉得,把图片转换成照片,是不是只要把原来那个“照片-图片”滤镜反过来用就行了?但是事实上这是不可行的。因为照片转换成图片的过程中,会伴随着大量不可分离的对抗性损失,这说明图片中有很多元素都丢失了。如果要反向使用了,两次滤镜的使用会导致大量元素丢失,最后只会变成一张模糊的照片。

科学家滤镜,科学家研究出异形

最左列是图片,最右列是原照片,中间是不同方法复原后的照片。

这群科学家研究了许多图片,通过抓取图片中的“特殊元素”,研究这些图片是如何转换成另一种样式的图片。同时研究不同复原方法造成的元素丢失具体情况,配合大量的算法计算,将逆映射和循环损失相结合,逆推出原照片,最后完成了图片-图片之间的转换!也就可以从油画反推出照片是什么样啦!

再来欣赏一组由油画反推出的照片~

科学家滤镜,科学家研究出异形

科学家滤镜,科学家研究出异形

是不是美呆了!!!

由于这项“图片-图片”技术是可以无限循环的,因此可以用在其他方面,比如风格转移,利用一张照片,转换成不同画家的画风,你可以选择“梵高”或者“莫奈”。

科学家滤镜,科学家研究出异形

还可以替换照片中的元素,比如把马换成斑马(元素转换),或者是把夏景换成冬景(季节转移)。

科学家滤镜,科学家研究出异形

当然他们转换系统也不是每次都能成功的,特别是在把猫或者狗的照片转换成油画,总是各种走形失败。

但是不管怎么样,感谢这项技术,这样一来,我们就可以“真实”地看到百年前的画家们眼前的世界究竟是什么样的了。真是太棒啦!!

来源:

http://mashable.com/2017/04/03/ucberkeley-bair-image-translation/?utm_cid=hp-n-2#2pE9O1avksqc

Jun-Yan Zhu,Taesung Park Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (2017)

感谢SL-血冥的翻译建议!