你不颠覆自己,AI就颠覆你——言有三
导语
人工智能早已经开始写诗,写小说,作曲。如今,它开始玩起了摄影,这是作为一个摄影爱好者感觉背脊一凉的事情,不得不来说道说道。
1 AI摄影师横空出世
如果在这个时代,你不了解人工智能,也就是AI,那你真的要out了。不管是不是从业者,人工智能,确切的说应该是机器学习吧(说人工智能的全是拉大旗但是听众又愿意听),在冲击并颠覆着几乎所有能冲击的行业。
他们开始写诗,写小说
下棋,作曲,打扑克
送快递
甚至玩起了摄影
搞出这种事情的就是Google 的人工智能实验室 DeepMind。还记得二代AlphaGo对战全人类的顶级高手60连胜,随后让傲气满胸的天才棋手柯洁心悦诚服吗?更恐怖的是2代AlphaGo在3代面前,还是个渣渣,那我们人类又是什么?
如今,他们又玩起了摄影,真的不知道他们到底还想对这个世界做些什么,总之是了不得的事情!
你能想象上面这张图是Google的AI程序自动生成的吗?
我相信,哪怕是一般的摄影爱好者,也未必能调出如此舒服的色调。尽管图像上方的山认真一看就能识别是假的,但是从美感看来,我认为这是一张很不错的照片。
没错,他们就是让计算机学会了“审美”,这个摄影师自认为最得意的事情。
当然了,我们人类摄影师创作需要一个景作为输入,计算机也一样,下面的图是一个更加完整的例子。
上图分两段,下面的图,是google街景图的一部分,上图,就是计算机看着这些街景图后创作出来的作品。当然街景图是360度的,这里只展示了一定的角度。
尽管是AI伪造出来的图,但是构图,对比度,饱和度,光线都是很不错的。
如果今天你说,女生的照片成了照骗不再可信;
那现在看来,以后照片可能都不可信了。明天,世界将真假难分,后期,将变得再无门槛!
作为一个摄影爱好者,但又是图像相关领域从业者,我爱自己的职业,也爱自己的兴趣,所以有时候对这种技术的发展感情其实很矛盾。
算了,来揭穿这个假冒的摄影师的真面目吧。
2它到底怎么做的
--2.1 这到底是什么--
上面所说的AI摄影师,官方名称Creatism系统。
它具体是什么呢?
不同于美图秀秀等滤镜工具,它是通过学习模仿专业摄影师的作品,对图片的处理过程就是典型的专业摄影师的路子:
(1)调整构图,以一个美学标准对挑选的街景图进行裁剪。
(2)全局调整,调整照片的饱和度,HDR等参数。
(3)光照调优。利用学习到的dramatic mask 遮罩工具为照片自适应地加上局部光晕。
拿一对图分析一下。
第一步构图调整,最重要的就是要突出主体。
图中的主体当之无愧是山,所以山应该占绝大多数的空间。而作为一个优秀的风光作品,最好有宏大场面和景深,所以图像下半部的树林,就衬托出了山在远方的景深。顶上的天空,则使得作品更加真实而充实。整个的构图,大概遵循三分法的原则,不知道三分法的以后我们会讲。
然后我们再看第二步。创作后山和树林的饱和度,与原图相比,明显更高但是又很自然,这是好的彩色风光片都有的特点。
最后一步,光照的调整就更加6了,手法很老道。像是夕阳光从图像外的右侧照射到了山脊。云彩中的一缕亮光下方,也照亮了草地,虽然比起山脊处效果差的多。
明显缺点也是有的,主要就是树林的面积太大,这可能跟下方的输入图中草地树林面积占比很大有关。
但不管怎么说,这都是一个不错的作品,你未必能做到。
以后可以一键后期了!
拯救你的构图!
不用再枯燥地调对比度亮度!
一键完成不知道该怎么调的光照效果!
--2.2 到底有多6,谁来评判--
美学这个东西,无法量化,各说各有理,经常谁也说服不了谁。
那Google怎么去评测他们的这个AI摄影师呢?
当然最好的就是请专业的裁判。他们邀请了 6 位专业摄影师进行图灵测试(这是一个很著名的测试,感兴趣可以自己搜索),他们都拥有摄影学士学位和至少两年以上的专业摄影经验,总之实验绝对是靠谱的,结论绝对是令人信服的。
他们将真正由摄影师拍摄的照片,和AI生成的照片混在一起让这些摄影师去评测,并将异常的打分返回继续评测,直到众人取得比较一致的结论。
评测分为四个等级,分数由 1 到4 分。1 代表的是只有入门级别的照片,4 则表示达到了专业摄影师的水准。
结果你猜如何?
摄影师评估的 173 张由AI生成的照片中,有 41 %照片得分达到了 3 分以上, 13% 的得分更超过了 3.5分。而由真的专业摄影师拍摄的照片中也就是有 45 %达到了 3.5 分以上的成绩。
如果说旗鼓相当还有点勉强,那么水平接近可以说是事实了。而计算机的学习能力之强大从AlphaGo就可见一斑,你觉得再过一阵子,会不会专业摄影师彻底被比下去呢?再看张图吧。
总之Creatism系统,只需要采集一些街景图回来,就可以给你自动生成足以以假乱真的准专业水准的风光照,这是一件不得了的事情。
今天已经有各种app在开发自动后期算法,可见的不久,后期的门槛就将大大降低,到时候大家也不用再去膜拜那些老司机们,也不用再望着PS发呆了,想想就兴奋有没有。
我们或许应该感到欣慰,技术的发展,从来都是扫除门槛和阶层的助力。
3 开始说算法
下面的内容,就是专业领域了。感兴趣或者专业相关的朋友可以听听,其他的读者可以直接跳至文末。
--3.1 说点历史--
关于摄影美学的研究,其实早就开始,这是一个图像质量评估问题,一个还并未有好的解答的问题。
AVA数据集就是最早做这件事的,它是一个人工标注的数据集,20多万的数据,每一张照片都被综合的评了分,1~5不等。相关的研究,也是集中于构图,对比度等等,只是,传统算法大部分都是人工设计的算子。
摄影美学本来就很难量化,好的摄影师必然需要大量的练习才能养成。那么,对于擅长于从数据中学习到知识的机器学习来说,正对下怀。
--3.2 Creatism数据集和pipeline--
此处已经假定大家都有deep learning基础。
单刀直入,先祭出要用到的一个数据集。
15000张左右从500px.com挑选出来的风光图。这是我一直给大家力推的网站,一直认为是最好的摄影分享平台。
里面有很多优秀的风光摄影师,其构图、照片饱和度等很优秀,这15000张正是其中评分很高的。
而整个的pipeline是这样的。
首先说明这不是end-to-end的,为什么呢?
因为我们要优化的,是一个由构图,饱和度,HDR,光线等一起组成的目标Φ。它不同于分类时的类别,也不同于检测时的定位框,它的各个子维度很难直接用一个线性的方式来融合,对最终结果,也就是照片的分数的影响权重,也是很难有规律可循。
如果不剥离开,要同时优化这样的几个子目标,所需要的训练集需要非常鲁棒,这需要极高的成本。
另一方面,由于子目标的抽象层级较高,不在一个维度上,梯度传播起来,该怎么指导各个方向呢?
所以最终解决方案,就是上面所提的,对这几个维度(构图,光线等),每一个都训练一个“滤镜”,各自评测一个分数Φi。
--3.3 说细节--
3.3.1 怎么学习饱和度和HDR滤镜?
既然要学习,负样本怎么来,祭snapseed。snapseed里有调节饱和度,HDR参数的算法。
使用类似于snapseed里面的算法,随机从 (0%, 80%) 中挑选参数调整原图的饱和度。由于原图质量高,所以参数调的幅度越大,应该打分就越低,那么怎么得到分数呢?采用跟原图的相似度来度量,计算调整后的图与原图之间的颜色方差δ得如下公式。
可知方差越大相似度越低,当超过一定值,直接为0。
上图红色线显示了在调节饱和度参数时的分数变化,可见它的最优值不是最大也不是最小,同时在调节饱和度的过程中,HDR,Composition构图的分数几乎不变,整体的美学质量Φ变化也不大。
HDR类似如下图,有点小trick自己看paper吧,调节过程中,composition分数和饱和度分数几乎不变。
这样一来,正负样本就都有了,同时每一个原图,都产生6张对应的负样本。优化的时候,直接线性搜索饱和度参数和HDR参数即可。
于是我们得到了根据图片,自适应调整饱和度,HDR的滤镜。
这里提一句,在风光摄影中HDR几乎是必调参数,而人像中一般不调,以后再详说。
3.3.2 怎么学习构图呢?
在这里我们暂且将构图认为是怎么裁剪出最好的图片。
同样第一步是搞负样本,在这里还做了点数据增强。
对于现有的评分最好的图,按照宽度随机裁剪90%~100%,并进行0.5~2之间的随机放缩,这一批,作为正样本。
第二批,则按照宽度随机裁剪50%~90%,保证这两批图的数量相等。
分数怎么定呢?
直接计算面积比,第2批中的图除以第1批中的对应图的面积,这也是个不大于1的值。
这时候我们来看,在调整裁剪位置的过程中,所有的分数都受到了影响。
可以认为是裁剪位置变了,主体有可能发生变化,这时候饱和度和HDR就需要选择更好的参数了。
作者们也说了,不能对这个现象闭着眼睛不当做不存在,所以在优化最佳裁剪位置时的目标函数中,加上了一个经验参数,带上了全局的美学质量,优化目标不止Φcrop了。训练采用的是自家的inception v3,
3.3.3 怎么学习光照呢?
摄影是光和影的艺术,光照的作用,基本上是区分摄影师档次的金标准。
文中提到了vignetting滤镜,它根据几何学改变光效——通常是增加图像中心的亮度,降低边缘的亮度,也就是内外发光,可以去snapseed找,这常可以制造光晕的效果。
下面遇到了一个问题,因为上面不论是饱和度HDR,还是crop,在应用一个现有的滤镜之后,我们都可以比较处理后的图和原图得到一个分数,从而可以得到label,而光效这个东西,没法打分啊。
没有了label,怎么办,懂行的可能想到了,祭出GAN!
GAN?
这个很正经的噢,咱们以后说。
总之做法就是以同样的概率,选择了snapseed中对比度调整,亮度调整,HDR功能,光晕外发光效果,曲线功能等来对图像进行操作得到了一些图,这些图相对于原图来说,质量更低,姑且称之为M‘,把原图称为M。
上面说了我们没法直接计算M'相对于M的美学分数,那么怎么办呢?我们希望学习到一个滤波器O,使得M=O(M’),采用的无监督学习方法GAN,因为它可以左右互搏。
更具体的细节咱们也不表了,O学习到的最终形式是一个8×8的滤波器,利用了DCGAN,以后我们会来认真说说这个GAN的。
下面有一张效果图。
第1列是原图,第3列是结果图,第2列就是这个光晕滤镜了。颜色越近的地方,滤镜参数越相近,感受一下吧。
差不多不能再说了,总之分别学习到这几个滤波器后,就可以从采集回来的360度google街景图中选择一个好的构图,然后调整饱和度,HDR参数,加上光晕,一张准专业的图就这样无人工干预的出来了。
仿佛听到了AI在说,以后摄影我包了,以后后期我包了,你们人类去找点其他的爱好吧。
这还怎么玩。。。。。。。
如果你今天不提高自己的审美,以后,ai都可以嘲笑你。
那为什么,
还不关注加入我们,
从小白到老司机,
一起抱个团呢?
言有三,原360 AI研究院工程师,一个半吊子摄影爱好者,等你噢。
摄影还是要认真学的,欢迎来500px.com。