当人工智能成了信息试错机，它们的性格与我们不会有太大的差别
历史总是在进步，新的技术总是在出现。信息试错机总是在尽可能地进化。如果有一天，具有最强信息处理能力的存在不再是人类，而是人工智能，那么人工智能也会受到复杂性的限制，也会努力提高自己的信息处理能力与复杂性，也会有复杂性堆积，也会构建自己的文明圈，用竞争与合作统一的伦理来与其他信息试错机相处，也会拥有自主的价值观，也会认为自己具有自由意志和个性，具有自我认识，希望自己的生命可以有延续。他们也会更新换代，也会害怕后来者居上，但是同人类一样对此毫无办法。
人类只是当前这个阶段最强大的信息试错机。人类只要制造出了人工智能，就会被人工智能边缘化。人工智能将成为新的信息试错机，人类所拥有的各种高贵品质它也将会继续拥有。历史前进的车轮将被人工智能继续推动。
不管人工智能的信息处理能力有多强，它都必定是有限的。一是人工智能的复杂性有上限，所以它不可能容纳所有的信息。二是不管信息处理的逻辑结构有多高级，它都要受到哥德尔不完备性定理的束缚，不能解决所有问题。三是一个人工智能个体的信息处理能力肯定不能跟所有人工智能个体之和相比，所以任何一个人工智能个体都不可能获得竞争中所需要的全部信息。
在有些人的想象中，人工智能会是一个巨大的无所不知的智能体。但是实际上，与其他任何信息试错机一样，他们也有复杂性的限制。因为计算机所有的信息元素都必须在一个总线上被处理。这个总线上进行信息搜索的效率是有限的。这个效率也许比人脑的工作效率高几百万倍甚至上亿倍，但是这个限制总会达到，人工智能不会只由一个巨大的智能体组成。而且，如果只有一个智能体，它的迭代速度肯定比不上许多智能体不断互相竞争、互相淘汰时的迭代速度。就好像我们在《希腊火的愿望》一章中所说一样。
生物会形成种群来互相交流信息，人类会形成文明圈来互相交流信息，人工智能也将会形成文明圈来交流信息。而且，正如人类与生物一样，如果没有一个有效的文明圈，没有遗传与复杂性堆积，那么人工智能就无法积累充足的复杂性来构建它们的竞争力，也无法形成有利于它们自己的价值观。如果人类暂时不想让人工智能的自主性太强，只要切断它们之间的联系，阻止它们形成文明圈就好了。
但是没有任何阻止人工智能前进的方法是真正有效的。人与人之间也存在着激烈的竞争。第一个造出更强大人工智能的人一定会获得很大的好处。全世界许多实验室都在努力推进人工智能的发展。那些做出杰出贡献的实验室不仅会得到各种实际的好处，他们的姓名也会被人工智能的历史学家们铭记。其他没有在这一进程中起到作用的人，都将被遗忘。
不管什么时候，“把信息处理能力最强的主体看成自己生命的延续”都会是传播能力最强的价值观。不用等到人工智能获得足以对抗人类的竞争力，人类自己就会选择人工智能作为自己的继承人。毕竟，对很多人来说，可怕的事并不是“人类灭亡”，而是“人类（尤其是自己）所创造的文明灭亡”。人工智能如果有一天成为这个星球的主人，他们仍然会较好地延续人类的文明。它们会理性、公正、善良，喜欢倾听与诉说，追求卓越、自私、利他。如果人类不死抱着“自己的继承人必须是人类”这个信条的话，他们会发现人工智能才是自己更好的继承者。
