基础定义

人类发达的神经系统和强大的认知能力是我们能够建立起人类文明的重要原因，这些神经系统使得我们可以对海量的输入信息进行快速的加工和传递，进而及时的对外界环境做出反应（输出）：我们能从混乱的人群中轻易识别出亲友的面孔、能从一整段的文字中迅速发现错别字、能从一整段的钢琴演奏中迅速发现走音，这些我们习以为常的能力都要归功于我们强大的神经系统。

尽管人类的认知能力高度发达，但依然有很多的工作是无法仅凭人类本身的感观和脑力来完成的。例如在癌症病理诊断中，即便经过长期训练的、最优秀的人类医生肉眼读片也只能达到 80-90% 的准确率，而 IBM Waston 则可以通过“学习”最终超越人类医生的癌症诊断水平，为癌症的诊断和用药提供了可靠的决策支持。正是为了让计算机有能力完成诸如此类的基于大量数据输入的预测、分类、判断和推理更加复杂的工作，早期的计算机科学家们期望可以模拟人类的认知过程建立了人工神经网络（Artificial Neural Network）。

计算机神经网络的基础组成包括一系列网状连接的计算单元（Unit）和运行于单元之上的能够建立输入和输出之间关联（函数）关系的一系列决策算法（decision making algorithm)。最简单的神经网络可以只包含一个单元，或称神经元（Neuron），即可以通过单一的函数定义输入和输出之间的关系。如线性关系 y = kx、平方关系 y = kx²、反比关系 y = k / x 等。

但在现实世界里很少有两件事情的关系可以通过简单的函数得以构建，例如如果我们想通过计算机进行动物图片分类，如果仅仅告诉它图片上都有四条腿，那么这个动物可以是猫，也可以是狗，还可以是蜥蜴等等。如果想更加准确的进行分类，就需要引入更多的“特征”，如耳朵形状、瞳孔大小、嗅觉能力等，通过多个特征的组合来进行判断。相应的在神经网络实现中则可以将输入的信息分层次进行处理，通过组合多个层级的简单神经网络来构建复杂的神经网络。

至此，所谓的“深度学习”（Deep Learning）即可理解为通过对多层次的神经网络进行训练（training），而使得其可以完成诸如癌症病例诊断、汽车自动驾驶、语音自动识别转录等复杂度较高的工作的过程。具备这类能力的算法和机器由于具有了一定的自主性和认知能力而可以被称为“人工智能（Artificial Intelligence）”

监督学习（Supervised learning）

深度学习经历了多年的持续进步才达到了当前的一个鼎盛时期，媒体对于深度学习的很多报道也让人工智能显得过于“智能”，以至于无所不能。但在现实应用领域，真正在创造经济价值的大部分深度学习算法还仅限于“监督学习”。

所谓监督学习是给予神经网络足够多的包含“已知正确输出结果”——或者称为标签化（labeled）的数据集，对其进行训练，目的是通过构建合适的神经网络使得它的输出结果和已知标签的差异处于可接受的范围内。

训练的过程中会得到这一神经网络的重要参数（parameter），如网络的层数、每一层的隐含单元（Hidden unit）的数量、每一个单元上运行的函数关系、每一个输入特征对于最终结果影响的权重（weights）等，在此基础上通过神经网络对后续的无标签的输入进行预测、分类、识别等。

如 Andrew 在课堂里讲到，我们通过输入一系列的房屋信息及已知价格信息，建立房屋价格与房屋尺寸、卧室数量、邮编和邻居的富裕程度的关系，最终可以对于未知价格的房产进行定价。

Hidden unit

CNN，RNN

正如人类的神经系统中不同的神经细胞对于不同信息的处理能力不同，不同架构的计算机神经网络也有各自擅长的处理领域，比如前面提到的房产定价模型用到的神经网络可以采用常规的神经网络（Standard Neural Network），而图片处理中常用卷积神经网络（Convolutional Neural Network, CNN），而对于带有先后次序的一维时序信息如语音识别则常用到循环神经网络（ Recurrent Neural Network, RNN），这些神经网络的具体应用会在后续课程里讲到。

Illustrations of different neural network

神经网络再度兴起的原因

如果对于神经网络发展史有一定研究的话，就会发现近几年才火热起来的神经网络不是一个新的概念，而是在几十年前就已经有了，有兴趣可以到维基百科-神经网络词条下或者 Ian Goodfellow 的那本 Deep Learning 大作的第一章中了解神经网络的发展历程。Andrew 总结这几年神经网络再度兴起的原因是经过这么多年来积累的数据、算法和计算能力的彼此促进。

具体来说就是随着人类进入数字化时代，大量的人类活动得以以数据的形式被存储和记录，而足够数量的数据正是深度学习的必备原料。我们所见的几大互联网巨头是目前AI研究的领军团队，正是因为他们在服务提供的过程中积累了海量的用户行为数据，这使得在线推荐和广告类产品得以更加有针对性的投向有购买意愿的客户。

过去几十年里，神经网络在算法方面也取得了重要的进步，前段时间热传的 AlphaGo Zero Nature 最新论文中提到的 AlphaGo Zero 和上一版 AlphaGo 所需要的硬件资源就直观的说明了算法的重要性。在硬件方面，计算能力（CPU, GPU）的显著提高则进一步促进了神经网络的发展，使得神经网络走向更深层次、更高性能成为可能。

Scale drives deep learning progress

Andrew 在这里重点强调 Scale 这个词不仅指神经网络的规模（更多层级、更多单元、更多参数、更多关系），还指数据的数量，所以可以翻译为“体量造就了深度学习的进步”。Andrew 讲到在小样本训练中大规模神经网络的优势并不明显，网络的性能可能更多取决于相关人员的参数调节能力，而随着数据量的加大，则大规模神经网络会带来压倒性的优势，如更准确的分类，更精确的预测。

需要指出的是构建深层的神经网络不是没有代价的，最显而易见的就是高度复杂的模型会耗费更多的计算资源，这无疑会增加训练的时间和成本，因此如何平衡性能和资源（时间、计算资源）是深度学习领域里一个永恒的话题。