那些开创深度学习的大师们

来源:机器之心 选自CSDN魏伟

在过去的三十年,深度学习运动一度被认为是学术界的一个异类,但是现在, Geoff Hinton(如图1)和他的深度学习同事,包括纽约大学Yann LeCun和蒙特利尔大学的Yoshua Bengio,在互联网世界受到前所未有的关注。Hinton是加拿大多伦多大学教授和研究员,目前就职于Google,他利用深度学习技术来提高语音识别、图像标签以及其他无数在线工具的用户体验,LeCun在Facebook做类似的工作。当下人工智能在微软、IBM以及百度和许多其它公司受到极大的关注。

我非常兴奋,我们发现一种可以使神经网络变得更好的方法,尤其是这种方法能够揭示大脑是如何工作的时候——Geoff Hinton

Geoff Hinton 等人亲手缔造了深度学习的复兴

Hinton本科阶段在剑桥学习心理学,他意识到科学家们并没有真正理解大脑——不能完全掌握数十亿神经元之间的交互以及如何提升智力。这些科学家可以解释电信号沿着一个轴突连接一个神经元到另一个,但他们无法解释这些神经元是如何学习或计算的。Hinton认为这些都是大问题,答案可能最终让我们实现1950年代人工智能研究人员的梦想。


图1: Geoff Hinton(AI领袖级人物,目前就职于Google)

他也没有答案,但他将尽全力寻找答案,至少改进的人工神经网络可以模拟人脑的某些方面。“我非常兴奋,我们发现一种可以使神经网络变得更好的方法,尤其是这种方法能够揭示大脑是如何工作的时候,”Hinton说,洋溢着青春的热情。

这些人工神经网络可以收集信息,并且能够做出反应,它们可以理解东西看起来什么样或听起来像什么。当你将单词组合起来,它们在做决定的时候会变得更聪明,而在完成这些过程中不需要人类提供物体或对象的标签,这是传统的的机器学习工具做不到的。

随着人工智能的发展,这些神经网络将更加快速、灵活、高效,它们随着机器规模的增加而变得更加聪明,随着时间的推移将能够解决越来越多的复杂任务。

早在80年代初,当Hinton和同事开始这个想法时,那时的电脑性能还远远不能处理神经网络需要的巨大数据集,成功是有限的,随后人工智能社区背弃了他们,转而去寻找类人脑的捷径,而不是尝试模仿大脑的运作。

但仍然有一些研究人员坚定地支持Hinton的工作。根据Hinton和LeCun回忆,这极为艰难,甚至直到2004年——已经是Hinton和LeCun第一次开发“反向传播”算法神经网络20年之后了——学术界对这些毫无兴趣。

但是那一年,从加拿大先进项目研究所(CIFAR)拿到的极少量资金,并在LeCun以及 Bengio 的支持下,Hinton建立了神经计算和自适应感知项目,这个项目只邀请一些计算机科学家、生物学家、电气工程师、神经科学家、物理学家和心理学家。

通过招聘这些研究人员,Hinton旨在创建一个世界级的团队,致力于创建模拟生物智能的模拟——模拟大脑如何筛选大量的视觉、听觉以及书面线索来理解和应对它的环境。Hinton认为建立这样一个组织会刺激人工智能领域的创新,甚至改变世界,事实证明,他是对的。

Geoffrey Hinton 曾感慨自己的学术生涯就像 ANN (人工神经网络)一样起起伏伏,所幸的是,这位 Gatsby 的创立者一直没有放弃 ANN 的研究。他们为实现早期的想法,定期聚集在一起召开研讨会,构建了更强大的深度学习算法,操作更大的数据集。期间赢得全球人工智能比赛,再然后互联网的巨头开始注意到他们。

2011年,一位NCAP研究员和斯坦福的Andrew Ng在Google建立了深度学习项目,今天,公司用神经网络在Android手机和社交网络以及Google +上标记图像。去年,Hinton加入Google公司,其目的是进一步把这项工作做的更为深入。

每年不到一百万美元的CIFAR投资,Hinton和他的伙伴们带来的回报是丰厚的,这不仅发生在Google也发生在一些国家,包括加拿大。

在这个过程中,Hinton和NCAP已经改变了这个曾经抛弃他们社区的面貌,当下大学生从传统机器学习项目转到深度学习这种现象无处不在了 。毫无疑问,现在深度学习是主流。“我们不再是极端分子了”Hinton说,“我们现在可是炙手可热的核心技术呢。 ”

Hinton也周游世界并为深度学习积极布道,Hinton有一个习惯就是喜欢突然大喊:“我现在理解大脑是如何工作的了!”这很有感染力,他每周都会这样做,你很难模仿。

通过NCAP 和CIFAR,Hinton开办了一家暑期学校,致力于培养新一代的人工智能研究人员。有这么多的商业公司进入这一领域,这是比以往任何时候都更加重要。不仅仅是科技巨头加入这个领域,我们也看到大量的深度学习初创公司包括Ersatz,、Expect Labs以及 Declara。

“我们希望把AI和CIFAR带到一个美妙的新领域,”Hinton说,“一个还没有人或者程序到达的境界。”

和Geoff Hinton一起共同缔造深度学习复兴的大神还包括Yoshua Bengio(如图2)和 Yann LeCun(图3)教授,他们是Hinton坚定的支持者。

Yoshua Bengio(如图2)教授也是机器学习大神之一,他的研究工作主要聚焦在高级机器学习方面,致力于用其解决人工智能问题。他是少有的几个仍然全身心投入在深度学习学术界的教授之一,好多其他教授早已投身于工业界,加入了Google或Facebook公司。


图 2:Montreal大学教授及AI研究者 Yoshua Bengio

Yann LeCun和Yoshua Bengio不同,他目前就职于Facebook,任Facebook人工智能研究院主任,也是人工智能尤其是深度学习领域最知名的学者之一,在多伦多大学随Hinton读博士后即加盟贝尔实验室,期间研发了卷积神经网络(Convolutional Neural Networks)与曾广泛用于手写识别和OCR的图变换网络方法。2003年加入纽约大学,从事广度与深度兼具的各类研究,涉及机器学习、计算机视觉、移动机器人和计算神经学。

图3:纽约大学AI研究者及Facebook人工智能研究院的主任 Yann LeCun

毋庸置疑的是,深度学习以及整个人工智能领域已成为互联网巨头竞争的一个焦点。

深度学习领域人才极度稀缺

Montreal大学全职教授Yoshua Bengio表示:“深度学习现在炙手可热,目前的困境是缺乏专家,一个博士生大概需要五年的时间培养,但是五年前还没有博士生开始从事深度学习,这意味着现在该领域的专家特别少,可以说弥足珍贵、极度稀缺。”

据说目前深度学习领域的顶尖人才不超过50人,Andrew Ng表示深度学习领域人才匮乏的主要原因首先是数据,对于解决某些领域的问题,获取数据并非易事;其次是计算基础架构工具,包括计算机硬件和软件;最后是这个领域的工程师培养时间非常长。所以科技巨头们包括Google、Facebook、Twitter、百度等纷纷通过收购深度学习领域的初创公司来招揽人才。

Google 2013年3月收购了一家名为DNNresearch的初创公司,这家公司隶属多伦多大学计算机科学院,只有三个人——Geoffrey Hinton 与他的研究生学生 Alex Krizhevsky 和 Ilya Sutskever。之后,Google今年1月份斥资4亿美元收购人工智能初创企业DeepMind,DeepMind由人工智能程序师兼神经科学家Demis Hassabis等人联合创立,是前沿的人工智能企业,其将机器学习和系统神经科学的最先进技术结合起来,建立强大的通用学习算法。另外,Google还收购乌克兰面部识别技术开发商Viewdle。

Google不断的收购深度学习领域的公司最主要的目的是“抢购”一批世界上最一流的专家,在一个迅速成长的人工智能领域里面,这些专家无一不是佼佼者。

Facebook也在2012年以近6000万美元的价格收购以色列人脸识别公司Face.com。人事方面,任命计算机科学家Yann LeCun(图3)作为人工智能研究院的主任,用深度学习专业知识来帮助创建解决方案,更好地在每天上传到Facebook上的3.5亿张照片和视频中识别人脸和对象。去年8月13日Facebook又宣布收购了语音识别及机器翻译公司Mobile Technologies,后者将会帮助我们从图片识别拓展到语音识别领域。假以时日,Facebook可能会开发出交互更加自然的服务,而且相对于任何现有技术,它还会帮助解决多得多的问题。

Twitter 今年7月29日收购了基于深度学习的计算机视觉创业公司Madbits。Madbits这家公司是由Facebook人工智能实验室主任Yann LeCun以前两名学生创办的,开发了可自动理解、组织和提取媒介内容信息的视觉智能技术。这项基于深度学习的计算机视觉技术已经开发完成,正在测试。Twitter上每天都会出现无数的图片。收购Madbits可以帮助Twitter推出诸如图像搜索的功能,基于图像内容改进搜索排名,甚至是通过分析图像来更好地理解人们的推文内容。

其他公司。雅虎收购深度学习公司LookFlow和图像标注公司IQEngine;QualComm收购图像识别公司Kooaba; Pinterest收购物体识别公司VisualGraph;Dropbox收购图像标注公司Anchovi Labs;百度成立李彦宏亲自挂帅的深度学习研究院,有Andrew Ng、余凯等技术大牛加盟; 至此,深度学习领域的几位大牛基本上都各有所属。

深度学习的误区及产品化浪潮

百度首席科学家Andrew Ng表示:“目前围绕Deep Learning存在着某种程度的夸大,它不单出现于媒体的字里行间,也存在于一些研究者之中。这是一种不健康的氛围。将Deep Learning描绘成对人脑的模拟,这种说法非常具有吸引力,但却是过于简化的模仿,它距离真正的AI或人们所谓的‘奇点’还相当遥远。”

目前这项技术主要是从海量数据当中学习,理解数据,这也是现今有关Deep Learning技术研究和产品发展的驱动力。而具备与人能力相匹配的AI需要无所不包,例如人类拥有丰富的感情,这些都是当下Deep Learning研究尚未涉及的。今天,AI领域最大的挑战和短板是Perception,如何让机器更好地理解人的意图;而这正是 "深度学习"可以发光发热的范畴。

一项技术能够快速成为主流,一个主要原因就是能够快速推出成熟的产品,深度学习也不例外,所以深度学习产品化是一个大趋势,追求不切实际的“天网”或者电影情节的高科技未免太急功近利、不切实际。目前 "深度学习"让Google产品在语音,文本和图像的识别上变得更加聪明,可以更准确地洞悉我们的信息输入,更人性化地理解我们的意图。现在,每个安卓手机的语音识别以及Google街景中的图像处理都有"深度学习"的影子。笔者认为,随着深度学习的发展和科技公司加大投入,会有越来越多的产品推向市场。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,468评论 5 473
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,620评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,427评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,160评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,197评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,334评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,775评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,444评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,628评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,459评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,508评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,210评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,767评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,850评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,076评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,627评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,196评论 2 341

推荐阅读更多精彩内容