EXPLAINABLE ARTIFICIAL INTELLIGENCE
[TOC]
摘要
现在的人工智能非常成功，但是通常都是黑匣子的方式运用的，由于nested non-linear structure（嵌套的非线性结构），中间的过程具体起到了什么样的作用无法解释清楚。提出了两种方法解释深度学习模型：一种方法计算预测对输入变化的敏感性，另一种方法根据输入变量有意义地分解决策。（one method which computes the sensitivity of the prediction with respect to changes in the input and one approach which meaningfully decomposes the decision in terms of the input variables）
1 Introduction
介绍了可解释AI的重要性，特别对于医疗和自动驾驶领域。第三节介绍了两个模型：敏感性分析（sensitivity analysis）和层相关传播（layer-wise relevance propagation）。
2
介绍了可解释性的重要性。
- 系统验证：
- 系统改进：改进系统的第一步是了解模型的弱点，但是对黑匣子模型进行分析要困难的多。越了解一个模型正在干什么以及为什么会失败有助于改进它们。
- 从系统中学习：从训练的模型中提取出人类发现不了的模式。
- 遵守法律：制定更适合于人类社会的模型。
3 Methods
3.1 SA
灵敏度分析（SA）量化了每个输入变量的重要性，但是这种方法有缺点。
3.2 LRP
一个分解现代人工智能系统预测的通用框架，feedforwards neural networks and bag-of-words models , long-short term memory (LSTM) networks and Fisher Vector classifiers 。识别出有关预测的最重要的要素，显示了与泰勒分解（Taylor Decomposition）的密切联系。
Layer-wise relevance propagation：
it redistributes the prediction f(x) backwards using local redistribution rules until it assigns arelevance score Ri to each input variable (e.g., image pixel).这种特性可以称为相关性保持。这个性质表明，在分配的每一步，相关性的总量是保持不变的，在再分配的过程中，每个输入变量的相关性评分Ri决定了该变量的对结果的重要性。
为
层的激活函数，
是
层神经元的联系分，
是神经元
和
的连接权重。
是保证除数非0。
直观上这样的定义有两个标准：
- 越活跃的神经元会获得很多的得分
- 更强的连接
会获得更高的分
另一种“alpha-beta”规则，和
分别表示正和负的部分：
为了保证相关性的守恒，强制使得，当
时，证明该式子符合深度Taylor Decomposition。
3.3 Software
LRP 的一个工具箱toolbox
4 Evaluating
评估模型：一种基于扰动分析的方法（Perturbation Analysis），使用均匀分布的随机样本进行扰动，避免误差。
- 输入变量的扰动对于预测具有重要意义，与输入维数的扰动相比，变量的扰动对预测分数下降的幅度更大。
- 解释模型对输入变量提供了一个Score，因此，可以根据这些分数对输入变量排序。
- 我们可以迭代扰动输入变量，从最重要的开始，并在每个扰动之后记录预测分数。预测得分的一个平均下降可以判断模型的一个客观指标。因为一个大的下降表明该模型正确识别出最重要的输入变量。
Reference
W. Samek, T. Wiegand, and K.-R. Müller, “Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models,”arXiv:1708.08296 [cs, stat], Aug. 2017.
