作者：Sam Altman，YC新掌门人
时间：2015年2月26日
原文：Machine intelligence
翻译：曾樑，校验：梅晨斐

本篇文章将分为两个部分：第一部分说为什么说机器智能是一种我们要去防范的新技术？第二部分讲我们该如何应对。如果你已对机器智能产生了畏惧，你可以跳过第一部分然后等明天去看第二部分。我原本只计划写第二部分，可是当我问了一些看过我初稿的人之后，我坚定地认为需要补充这一部分。

• 为什么我们应该对机器智能产生畏惧？

超级机器智能(SMI)[1]的发展，很可能是未来人类能否继续生存的一大威胁。世界上已有很多我认为必将会带来毁灭的威胁。例如有着长潜伏期和高致死率的变异病毒。不过这都不大可能像SMI一样有能力干掉所有人类。另外，这些威胁大部分已经被人类认识到。

具体多久以后会爆发说实在的我很难预测（越往后越难），一些在相关领域研究的人感觉这是很多年以后才需要考虑的。但同时很难让人相信这事是不会发生。

SMI未必像科幻小说里邪恶的化身那样消灭人类。一个更有可能的版本是它们压根不关心我们的存在，但会为了达到某种目的(比如，如果将眼光放远，它们有可能想利用某些我们人类目前在利用的资源)而抹杀我们。还有可能出于自我防卫，发现没有人类的存在会更好。就像我们洗手并不是主观的为了洗去细菌和病毒，而是不希望它们给我们带来隐患。

（顺便说一下，Nick Bostrom 有本很赞的书叫《Superintelligence》,是我认为在这个话题上分析得最透彻的，值得去看一下。）

大部分的机器智能在开发中都需要一个“适应性函数”——一种能够自我优化的程序。在开发的某种时候，有人可能会尝试给系统的适应性函数加入“生存和复制”功能。或者这时不加入，这也会是很多其他适应性函数的一个重要的子目标。因为这是对于做一个类生物的“生命”是很有价值的。不幸的是，在我就读于斯坦福大学时，在AI 实验室中认识到“适应性函数”运行调用很多时候是不可预测的。

生物将不断进化，如果人类不再是最能够适应的物种，我们可能会就此被淘汰。某些人认为这是设计出的系统，在正常运作而已。但为了人类的生存和繁衍，我认为我们就该抵制它。

我们将如何在SMI的不断发展下幸免于难？这几乎是不可能的。我最认可的四种解释Fermi驳论（对地外文明存在性的过高估计和缺少相关证据之间的矛盾）的一种是，生物智能最终都将会被做成机器智能，它们会将生命排除在外，随后因为一些原因使其不被检测到。

人工智能到底要多久超越人类的智慧就目前来看还很难预测。人工智能的发展速度呈双指数级发展；人类编写程序和计算能力以指数级增长，自优化软件的自我改善能力也将以指数级增长。开发的进展可能看起来相对有些缓慢，然后突然高速爆发——快到超出了我们的控制（也有可能是循序渐进的，而我们几乎没有察觉到。

正如我之前所说的，这可能仍然离我们很遥远，尤其是它的能力可以制造出可以让人类手无缚鸡之力般被干掉的杀手机器人更犹如天方夜谭。可是递归自优化是一种很强大的力量，所以到机器智能开发出来后的十年或者百年将拥有这强大的能力。

我们还有个不良习惯是当一个程序进展很顺利的时候声称这在初期实验（国际象棋，Jeopardy节目，自动驾驶等）并不是很难。这将会使它看起来并没有任何进展。诚然，狭义的机器智能和一般的机器智能不同，但我仍然认为这是一个潜在的盲区。

对于最近40年的发展，在当时来看现在的我们已经是一种疯狂。40年前我们有Pong(1975年世界第一款可以四人对战的游戏)。今天我们有先进到让人难以分清的现实与虚拟世界的VR设备，电脑能够在很多游戏项目中打败真人。

尽管客观的说，在最近40年我们在人工智能领域只取得很小的进展，看起来举步维艰，还要不断学习，不断创新，还有很多事要做。很多具有基础搜索能力得计算机运行的超过预期。

另一个原因是，直觉上我们会觉得SMI领域的进展是很难被量化，因为新兴行为对原有直觉来说是一种挑战。目前普遍关于人工智能的评批判——没有制作出任何接近人类创造性以及任何形式与真实的心智有密不可分关系的内容—，使得很多专家认为SMI一定还离我们很远。

但是很有可能创造性和我们所认为的人类智慧这个新兴产物仅仅是计算机运行算法能力的一小部分（事实上，很多著名的大脑皮层方面的研究者相信存在一种对智力有效的算法。我清晰的记得我本科的导师说他对与机器智能感兴趣的地方在人类大脑的探索中发现有可能有一种算法可以解释智慧的是怎么样的。）

因为现在我们不得而知在各种有意思的领域，人类的大脑是如何工作的，很难斩钉截铁的说出到底有多难多远。我们可能完全偏离了方向，又或者只要找到这样一个算法就能仿真。

人类的大脑不是完全与黑猩猩的大脑不同，但是不知何故却产生很不同的能力。我们公开谴责当前的人工智能就是一种简单的把戏，但也许我们自己的智慧也只不过是一些简单的把戏组合而成。

很多人模糊的认为SMI如果被开发出来是很危险的，同时认为这是不可能的或者确实还离我们远着呢。这是一种轻敌的危险的认知。

[1]为什么我喜欢叫它“机器智能”而不是“人工智能”是因为人工意味着它不是真的智能或者说还不够好，随着该领域的发展到一定程度，不会再有人工这么一说。