人工智能来了,干掉柯洁的下一步,阿尔法狗创始人又要毁掉这个行业(干货分享)

你不颠覆自己,AI就颠覆你——言有三

导语

人工智能早已经开始写诗,写小说,作曲。如今,它开始玩起了摄影,这是作为一个摄影爱好者感觉背脊一凉的事情,不得不来说道说道。

1 AI摄影师横空出世

如果在这个时代,你不了解人工智能,也就是AI,那你真的要out了。不管是不是从业者,人工智能,确切的说应该是机器学习吧(说人工智能的全是拉大旗但是听众又愿意听),在冲击并颠覆着几乎所有能冲击的行业。

他们开始写诗,写小说

下棋,作曲,打扑克

送快递

甚至玩起了摄影

搞出这种事情的就是Google 的人工智能实验室 DeepMind。还记得二代AlphaGo对战全人类的顶级高手60连胜,随后让傲气满胸的天才棋手柯洁心悦诚服吗?更恐怖的是2代AlphaGo在3代面前,还是个渣渣,那我们人类又是什么

如今,他们又玩起了摄影,真的不知道他们到底还想对这个世界做些什么,总之是了不得的事情!

你能想象上面这张图是Google的AI程序自动生成的吗?

我相信,哪怕是一般的摄影爱好者,也未必能调出如此舒服的色调。尽管图像上方的山认真一看就能识别是假的,但是从美感看来,我认为这是一张很不错的照片。

没错,他们就是让计算机学会了“审美”,这个摄影师自认为最得意的事情。

当然了,我们人类摄影师创作需要一个景作为输入,计算机也一样,下面的图是一个更加完整的例子。

上图分两段,下面的图,是google街景图的一部分,上图,就是计算机看着这些街景图后创作出来的作品。当然街景图是360度的,这里只展示了一定的角度。

尽管是AI伪造出来的图,但是构图,对比度,饱和度,光线都是很不错的。

如果今天你说,女生的照片成了照骗不再可信;

那现在看来,以后照片可能都不可信了。明天,世界将真假难分,后期,将变得再无门槛!

作为一个摄影爱好者,但又是图像相关领域从业者,我爱自己的职业,也爱自己的兴趣,所以有时候对这种技术的发展感情其实很矛盾。

算了,来揭穿这个假冒的摄影师的真面目吧。

2它到底怎么做的

--2.1 这到底是什么--

上面所说的AI摄影师,官方名称Creatism系统。

它具体是什么呢?

不同于美图秀秀等滤镜工具,它是通过学习模仿专业摄影师的作品,对图片的处理过程就是典型的专业摄影师的路子:

(1)调整构图,以一个美学标准对挑选的街景图进行裁剪

(2)全局调整,调整照片的饱和度,HDR等参数。

(3)光照调优。利用学习到的dramatic mask 遮罩工具为照片自适应地加上局部光晕

拿一对图分析一下。

第一步构图调整,最重要的就是要突出主体

图中的主体当之无愧是山,所以山应该占绝大多数的空间。而作为一个优秀的风光作品,最好有宏大场面和景深,所以图像下半部的树林,就衬托出了山在远方的景深。顶上的天空,则使得作品更加真实而充实。整个的构图,大概遵循三分法的原则,不知道三分法的以后我们会讲。

然后我们再看第二步。创作后山和树林的饱和度,与原图相比,明显更高但是又很自然,这是好的彩色风光片都有的特点。

最后一步,光照的调整就更加6了,手法很老道。像是夕阳光从图像外的右侧照射到了山脊。云彩中的一缕亮光下方,也照亮了草地,虽然比起山脊处效果差的多。

明显缺点也是有的,主要就是树林的面积太大,这可能跟下方的输入图中草地树林面积占比很大有关。

但不管怎么说,这都是一个不错的作品,你未必能做到。

以后可以一键后期了!

拯救你的构图!

不用再枯燥地调对比度亮度!

一键完成不知道该怎么调的光照效果!

--2.2 到底有多6,谁来评判--

美学这个东西,无法量化,各说各有理,经常谁也说服不了谁。

那Google怎么去评测他们的这个AI摄影师呢?

当然最好的就是请专业的裁判。他们邀请了 6 位专业摄影师进行图灵测试(这是一个很著名的测试,感兴趣可以自己搜索),他们都拥有摄影学士学位和至少两年以上的专业摄影经验,总之实验绝对是靠谱的,结论绝对是令人信服的。

他们将真正由摄影师拍摄的照片,和AI生成的照片混在一起让这些摄影师去评测,并将异常的打分返回继续评测,直到众人取得比较一致的结论。

评测分为四个等级,分数由 1 到4 分。1 代表的是只有入门级别的照片,4 则表示达到了专业摄影师的水准。

结果你猜如何?

摄影师评估的 173 张由AI生成的照片中,有 41 %照片得分达到了 3 分以上, 13% 的得分更超过了 3.5分。而由真的专业摄影师拍摄的照片中也就是有 45 %达到了 3.5 分以上的成绩。

如果说旗鼓相当还有点勉强,那么水平接近可以说是事实了。而计算机的学习能力之强大从AlphaGo就可见一斑,你觉得再过一阵子,会不会专业摄影师彻底被比下去呢?再看张图吧。

总之Creatism系统,只需要采集一些街景图回来,就可以给你自动生成足以以假乱真的准专业水准的风光照,这是一件不得了的事情。

今天已经有各种app在开发自动后期算法,可见的不久,后期的门槛就将大大降低,到时候大家也不用再去膜拜那些老司机们,也不用再望着PS发呆了,想想就兴奋有没有。

我们或许应该感到欣慰,技术的发展,从来都是扫除门槛和阶层的助力。

3 开始说算法

下面的内容,就是专业领域了。感兴趣或者专业相关的朋友可以听听,其他的读者可以直接跳至文末。

--3.1 说点历史--

关于摄影美学的研究,其实早就开始,这是一个图像质量评估问题,一个还并未有好的解答的问题。

AVA数据集就是最早做这件事的,它是一个人工标注的数据集,20多万的数据,每一张照片都被综合的评了分,1~5不等。相关的研究,也是集中于构图,对比度等等,只是,传统算法大部分都是人工设计的算子。

摄影美学本来就很难量化,好的摄影师必然需要大量的练习才能养成。那么,对于擅长于从数据中学习到知识的机器学习来说,正对下怀。

--3.2 Creatism数据集和pipeline--

此处已经假定大家都有deep learning基础。

单刀直入,先祭出要用到的一个数据集

15000张左右从500px.com挑选出来的风光图。这是我一直给大家力推的网站,一直认为是最好的摄影分享平台。

里面有很多优秀的风光摄影师,其构图、照片饱和度等很优秀,这15000张正是其中评分很高的。

而整个的pipeline是这样的。

首先说明这不是end-to-end的,为什么呢?

因为我们要优化的,是一个由构图,饱和度,HDR,光线等一起组成的目标Φ。它不同于分类时的类别,也不同于检测时的定位框,它的各个子维度很难直接用一个线性的方式来融合,对最终结果,也就是照片的分数的影响权重,也是很难有规律可循。

如果不剥离开,要同时优化这样的几个子目标,所需要的训练集需要非常鲁棒,这需要极高的成本。

另一方面,由于子目标的抽象层级较高,不在一个维度上,梯度传播起来,该怎么指导各个方向呢?

所以最终解决方案,就是上面所提的,对这几个维度(构图,光线等),每一个都训练一个“滤镜”,各自评测一个分数Φi

--3.3 说细节--

3.3.1 怎么学习饱和度和HDR滤镜?

既然要学习,负样本怎么来,祭snapseed。snapseed里有调节饱和度,HDR参数的算法。

使用类似于snapseed里面的算法,随机从 (0%, 80%) 中挑选参数调整原图的饱和度。由于原图质量高,所以参数调的幅度越大,应该打分就越低,那么怎么得到分数呢?采用跟原图的相似度来度量,计算调整后的图与原图之间的颜色方差δ得如下公式。

可知方差越大相似度越低,当超过一定值,直接为0。

上图红色线显示了在调节饱和度参数时的分数变化,可见它的最优值不是最大也不是最小,同时在调节饱和度的过程中,HDR,Composition构图的分数几乎不变,整体的美学质量Φ变化也不大。

HDR类似如下图,有点小trick自己看paper吧,调节过程中,composition分数和饱和度分数几乎不变。

这样一来,正负样本就都有了,同时每一个原图,都产生6张对应的负样本。优化的时候,直接线性搜索饱和度参数和HDR参数即可

于是我们得到了根据图片,自适应调整饱和度,HDR的滤镜。

这里提一句,在风光摄影中HDR几乎是必调参数,而人像中一般不调,以后再详说。

3.3.2 怎么学习构图呢?

在这里我们暂且将构图认为是怎么裁剪出最好的图片。

同样第一步是搞负样本,在这里还做了点数据增强。

对于现有的评分最好的图,按照宽度随机裁剪90%~100%,并进行0.5~2之间的随机放缩,这一批,作为正样本。

第二批,则按照宽度随机裁剪50%~90%,保证这两批图的数量相等。

分数怎么定呢?

直接计算面积比,第2批中的图除以第1批中的对应图的面积,这也是个不大于1的值。

这时候我们来看,在调整裁剪位置的过程中,所有的分数都受到了影响。

可以认为是裁剪位置变了,主体有可能发生变化,这时候饱和度和HDR就需要选择更好的参数了。

作者们也说了,不能对这个现象闭着眼睛不当做不存在,所以在优化最佳裁剪位置时的目标函数中,加上了一个经验参数,带上了全局的美学质量,优化目标不止Φcrop了。训练采用的是自家的inception v3,

3.3.3 怎么学习光照呢?

摄影是光和影的艺术,光照的作用,基本上是区分摄影师档次的金标准。

文中提到了vignetting滤镜,它根据几何学改变光效——通常是增加图像中心的亮度,降低边缘的亮度,也就是内外发光,可以去snapseed找,这常可以制造光晕的效果。

下面遇到了一个问题,因为上面不论是饱和度HDR,还是crop,在应用一个现有的滤镜之后,我们都可以比较处理后的图和原图得到一个分数,从而可以得到label,而光效这个东西,没法打分啊

没有了label,怎么办,懂行的可能想到了,祭出GAN!

GAN?

这个很正经的噢,咱们以后说。

总之做法就是以同样的概率,选择了snapseed中对比度调整,亮度调整,HDR功能,光晕外发光效果,曲线功能等来对图像进行操作得到了一些图,这些图相对于原图来说,质量更低,姑且称之为M‘,把原图称为M

上面说了我们没法直接计算M'相对于M的美学分数,那么怎么办呢?我们希望学习到一个滤波器O,使得M=O(M’),采用的无监督学习方法GAN,因为它可以左右互搏

更具体的细节咱们也不表了,O学习到的最终形式是一个8×8的滤波器,利用了DCGAN,以后我们会来认真说说这个GAN的。

下面有一张效果图。

第1列是原图,第3列是结果图,第2列就是这个光晕滤镜了。颜色越近的地方,滤镜参数越相近,感受一下吧。

差不多不能再说了,总之分别学习到这几个滤波器后,就可以从采集回来的360度google街景图中选择一个好的构图,然后调整饱和度,HDR参数,加上光晕,一张准专业的图就这样无人工干预的出来了。

仿佛听到了AI在说,以后摄影我包了,以后后期我包了,你们人类去找点其他的爱好吧。

这还怎么玩。。。。。。。

如果你今天不提高自己的审美,以后,ai都可以嘲笑你。

那为什么,

还不关注加入我们,

从小白到老司机,

一起抱个团呢?

言有三,原360 AI研究院工程师,一个半吊子摄影爱好者,等你噢。

摄影还是要认真学的,欢迎来500px.com。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容