来源：NVIDIA
物联网智库 整理发布
转载请注明来源和出处
------ 【导读】 ------
人工智能的未来趋势已被多数人所认可，但是GPU将会是人工智能至关重要的一环。
本文是百度首席科学家吴恩达在 GPU技术大会（GTC CHINA 2016）主论坛的演讲内容。
现在人们说人工智能是新电能，电能改变了很多不同的行业，我觉得现在人工智能也会对很多行业带来一样大的改变。现在人工智能大部分都需要依赖GPU，我今天想跟大家分享这是为什么，也跟大家分享一下人工智能对你们的工作会有怎么样的影响。
我们在人工智能领域的人都是非常幸运的，因为很早的时候大家还不清楚深度学习是多么的重要。在百度，我们觉得已经从PC领域进入到移动领域，现在我们又从移动的时代进入到人工智能时代，我非常感兴趣做的一件事情就是希望每个人都能够在人工智能方面做很多工作。两个星期之前，我们发表了很多技术为大家提供服务。很多的技术都是使用机器学习和深度学习，尤其是基于GPU的学习来进行训练的，大家已经听到很多关于深度学习的介绍了。
到底什么是深度学习
我们在深度学习领域中的人往往会做一个类比，把它和大脑当中的神经元做一个类比，我希望更深地介绍一下技术方面的问题，到底什么是神经网络，为什么我们觉得GPU非常适合对这些神经网络进行训练。
如果我画一个这样的图，这个图代表的是输入一个图片，然后有很多神经元输出，人脸识别。这个图每个点就是一个数字，每一层的神经元代表的是一个向量，向量X1、向量X2等等，每一层之间都有一个矩阵W1、W2、W3、W4等等。所有的这些图片代表的工作就是通过向量乘以矩阵W得来的，所以99%的我们所做的深度学习方面的工作就是将不同的矩阵进行相乘或者矩阵和向量进行相乘。GPU能够进行并行计算，从第一天开始GPU在矩阵相乘方面就是非常高效的，所以整个深度学习的领域都使用GPU平台来做他们的工作。
有很多关于人工智能的炒作，到底什么叫做人工智能，到底什么叫做深度学习？基本上所有的AI的经济价值来自于一种叫做监督式学习的模式。什么叫做监督式学习？输入什么就输出什么，如果说进行人脸识别，你想对人脸识别的系统进行训练，首先是一些数据组，比如一张脸和一个不是脸，我们对神经网络通过不同的矩阵相乘进行训练，这就是我们进行人脸识别的做法。
深度学习的经济价值
很多深度学习的经济价值在于找到非常好的非常聪明的办法来使用监督式学习。有比较多的例子，如果用户评论想识别出是不是垃圾邮件，如果你有足够的数据，在百度看到很多用户和广告的信息也可以训练一个模型来预测用户会不会点击一个广告。所以就是要找到非常好的非常聪明的监督式的学习，这也带来了很多的经济价值，在百度还有很多其他的公司都带来了很多价值。这种监督式学习的公式就可以对很多的行业带来改变。
有很多现在我们所做的基础研究都是关于监督式学习的，还有加强式学习和很多其他的学习，希望未来的几年在其他领域也会进行这种监督式学习的公式已经足以对很多你们现在的工作带来改变。
我所讲的这些技术的所有细节其实在20年前都是已经有的，没什么太多新的想法，为什么现在深度学习才开始真正发展起来呢？有几个主要的趋势，第一是深度学习在这几年才刚刚发展起来的原因是规模化。我喜欢做一个类比，建立人工智能就像是建立一个火箭一样，到底什么叫做火箭，你要造一个火箭首先需要一个大的引擎，然后需要很多的火箭燃料，这两个都是非常大。如果引擎非常大，但是燃料非常少，这个火箭也飞不了多远。如果说引擎非常小，燃料非常多，有可能火箭根本就无法起飞。只有引擎非常大燃料非常多的时候才能建造一个非常好的火箭。
我的类比就是火箭的引擎就像是神经网络，现在我们能够建立这样的神经网络，因为现在规模化，因为GPU的发展，能够实现规模化，而火箭的燃料就相当于现在大量的互联网公司和在座的各位能够获得的数据。
算法的创新也是非常重要的。对我们来讲首先要建立一个非常好的网络，然后要有充足的数据，这是一个基础。在过去的几年，我看到这样一些趋势，也就是规模化，大概在十年前我们都通过普通的CPU进行深度学习的训练，当时大概有100万的连接，进步是非常慢的。
2008年的时候我们写了第一篇在CUDA上进行神经网络训练的文章，当时是斯坦福大学的一个研究，有了10倍的转变，2001年我带领谷歌的一个团队，我们使用CPU计算进一步实现规模化，用很多的CPU。但是很快我们就意识到使用很多CPU使用云计算其实并不能真正促进深度学习发展，当时在斯坦福以及后来在百度我们意识到使用HPC高性能计算，最近使用超级计算机才能更加促进深度学习算法进步的一个方向，所以最先进的深度学习的系统已经开始使用高性能算法了。我们要训练一个语音识别的模型需要20百万亿次，我们需要花100万美元的电进行一个模型的训练，我们的一个研究人员要进行一个模型的训练需要花100美元的数据，需要4兆字节的数据。
接下来我想和大家分享一个例子，向大家介绍一下为什么深度学习对很多的百度AI应用进行了改变。接下来我想讲的是语音识别的例子，黄仁勋刚才也提到过语音识别。以前语音识别系统分为很多的阶段，首先输入一个音频，要抓取音频的特征，获得音位，要有语言的模型，然后再转录。在2011年的时候，在百度建立一个语音识别的系统，我们认为我们花了几十年的时间来做语音识别，我们还是把整个的工作全部都用神经网络给取代，我们发现有了很大的神经网络，相当于一个火箭的引擎，使用端对端的学习方法可以帮助我们对最好的语音识别系统进行训练。
之前我们讲到规模的重要性，包括计算的规模和数据的规模，对于这些深度学习系统来进行训练，这里我想给大家介绍一个简单的方法，如果能够提升机器学习系统的表现，这当然有点过于简单了，但是我的团队问我怎么提升他们的机器学习系统的时候，我首先会把这个简单的方法告诉他们。首先要问他们，目前在训练数据上表现好吗？如果不是的话，那我就会跟他们说你的这个神经网络需要有更大的规模，也就是说火箭的引擎要更强、更大。
然后你继续在这个方面进行改进，直到你在训练数据上能够有好的表现，在这之后就问你测试数据上表现好吗，如果不是的话我就跟他们说数据要更多，也就是说要有更多的火箭燃料。再继续在这个方面进行改进，直到在测数据上表现得好。这是一个非常简单的公式，真实世界会更加复杂，这过于简单，但这样一个简单的方法有很大的帮助，帮助我们提升了系统的性能，我也相信能够帮助大家的机器学习系统的性能提升。
人工智能为什么需要GPU计算
过去几年很多性能提升都在于计算以及数据规模的提升，之所以计算的规模提升很多在于GPU计算的出现，实际比这复杂得多，如果大家想要了解具体的细节，如何提升机器学习的表现，大家可以去参照我所写的一本书，从这个网站可以拿到免费的书。前面我讲到用GPU进行训练，我也看到这个对于百度的工作以及很多其他公司的工作有很大的帮助。
另外一个趋势，用GPU不仅进行训练，也包括提供在线服务。HPC训练的巨大的神经网络，我们发现我们有个问题，怎么样可以把这么大的神经网络放在服务器上面提供在线服务？如果看一下传统的提供在线服务的架构，传统的CPU服务器的架构，架构是这样的，比如这是CPU服务器，有几个线程，如果有一个用户有一些数据过来，他给了一个4乘1的向量，比如是一些语音数据，你把这个交给一个线程进行计算然后会有输出。第二个用户过来了，还是用第二个线程帮他进行计算，第三第四也是一样。这是比较传统的CPU架构提供在线的服务。因为我们在超级计算及用很多GPU，训练非常大的神经网络，我们发现这些非常大的模型部署在传统的CPU当中是非常困难的，因为这个架构不适合。
百度是第一家大型公司宣布把GPU放入到生产当中，也就是在提供服务和进行推理而不仅仅是训练，我们有一个专门的技术叫Batch Dispatch，我们把数据放到我们的数据中心当中，如果用户出现了，当他这端有一些数据的输入，我们会暂时让这个数据稍微等一点点时间，然后再等几位用户出现，各自都有自己的数据，把他们做成一个批次。
我们把这些向量堆叠到一起变成一个矩阵，这是第一第二第三第四，变成了一个4乘4的矩阵。同时交给GPU处理器进行处理，它是同时对这四个用户的数据进行处理，这些结果也同时会出来，GPU有非常强的并行处理能力，可以非常高效的进行并行处理，我们把结果拿到之后再把它们分开，分别提供给四个用户。
我们发现这样使得我们可以有更大的模型规模，而且可以以更低的成本给更多的用户提供服务。昨天我们在百度的数据中心和数据中心的负责人，在百度我们看到的一个趋势，现在越来越多的使用GPU及高性能计算在数据中心当中，因此我们的团队在重新设计数据中心来更好地利用高密度的计算模式，我们有团队在重新设计供电、散热，使得我们可以把更高密度的计算站纳入到我们的数据中心当中进行训练，然后进行推理。大家有些人可能是做数据中心工作的，这里边有很多的工作是可以开展对于数据中心的架构来进行重新的设计，从而使用这些高密度的GPU。
之前我讲到了深度学习，首先第一个就是计算的规模和数据的规模。第二个我所看到的过去几年的趋势，深度学习现在可以给出更复杂的输出，我的意思是五年之前大部分的机器学习所输出的都只是整数，比如垃圾邮件分类，你输入一个邮件，输入的是0或1是不是垃圾，图片也是一样的，输出的是一个整数，现在发生了变化，深度学习越来越多的可以去输出非常复杂的结果，比如一个句子或者是一个图像。
我们的DSP Batch系统输入音频片段，可以输出一个英文或者是中文的句子，图片说明我们可以把图片输进去，输出是一个图片说明来描述这个图片说这是一辆黄色的车在路上开。所以现在神经网络可以输出复杂的东西，比如句子和一些图片说明，不仅仅是一些整数。包括翻译，你可以输入英文的句子，然后输出中文的句子，也可以文法的校正，可能你输入的是语法错误的文本，输出的是语法正确的句子。这个重要的趋势也是可以非常聪明的使用，可以在AI和深度学习方面得到更大的价值挖掘。
当然我们也知道，AI现在主要的局限性在于这样的学习方式，也就是监督式学习的方式是需要很多的标记数据，未来我希望我们能够对于非监督学习有一些突破，但是目前我们可以通过监督学习去转化很多的行业来实现巨大的发展。刚才我们讲到了规模非常重要，我们需要用大量的数据进行大量的模型的训练。
规模非常重要，我们需要用很多的数据对大的模型进行训练。还有另外一个原因，为什么AI的发展需要计算呢？我们看一下刚才的神经网络这个简单的例子。我们要花很多的时间、很多的实验去发现这些神经网络的结构，我可能在这个方面的工作已经有25年的时间了，现在我开始要开始一个新问题的时候我也不知道什么样的网络是合适的，研究者需要进行很多实验，十几种几百种模型才能发现一个好的模型去完成这种任务。
有这么多的训练数据，语音识别系统有5万小时的数据，所以你要进行这样一个训练可能需要3个月的时间，这样研究者的时间利用率不是那么高。另外一个原因，百度花很多的努力去优化开发者的效率，因为你们在做这个模型，你不知道到底什么样的模型，你要做很多的实验去发现到底什么是可行的。我们发现我们投资于计算系统来加速这种实验的过程、试错的过程，可以使得研究者更加的高效，可以使得他们有更多的时间可以更快的去发明新的想法。
因此在这个方面，我们非常强调，第一我们是投资计算平台，基于GPU的HPC计算平台。第二我们是很大的投资于开发易于使用的深度学习工具，我们把我们自己的深度学习平台开源化，它叫PaddlePaddle，易于使用，大家可以非常方便的尝试深度学习的模型，来发现到底什么样的模型对你的应用是最为合适的。PaddlePaddle支持用多GPU，我们现在不是在一个GPU上进行计算，一次可以用32个、64个、128个GPU进行实验。
我对AI的未来寄予很高的希望，对人工智能的未来充满信心，希望几年后我们可以使用人工智能做到陪伴机器人，做到个性化私教、音乐作曲、机器人医生，这些产品和技术可以为很多行业带来巨大的改变，也对人类带来巨大的价值。这些项目很多都正在研究阶段，在人工智能时代如果你听我们讲未来，未来有时候很快就到了。
我觉得我们非常幸运能够有这么好的GPU平台，在这个平台上开发很多的AI应用，在百度我非常振奋的是开发出AI的工具，不光是帮助我们自己也帮助很多的行业，我在百度希望能够在我们的硬件的基础之上开发一些AI的工具帮助大家。
往期热文（点击文章标题即可直接阅读）：
Hi,我是iot101君！
关于物联网，
我的每一句话都不是扯的；
如果遇到物联网有关的问题，
别打110，
来iot101君这里看看就行！
