去年,一款将实物实景照片变成艺术画风格的 app Prisma 走红,单单在 iOS 之后推出的GooglePlay 上安装量就有千万级。对其稍有了解的人会知道:他们能够快速实现照片风格的改变使用的就是深度学习和神经网络,所以在使用 Prisma 的时候你必须要联网把照片上传到服务器,手机本地的还无法实现如此量级的计算。
但如果我想把一张实景照片的风格移植到另一张实景照片上呢?Prisma 的算法是实现不了的。
不过康奈尔大学的四位研究者成功做到了。他们的方法是:对输入和输出照片的变换进行限制,以便进行色彩空间中的局部仿射,然后将限制手段输入到定制的卷积神经网络中进行反向传播。最终的效果可以移植照片中的天气、季节和时间等效果。下面是一些他们给出的实例,其中左侧是需要改变风格的照片,中间是需要施加的风格,右侧是经过算法得出的最终效果: