信息论是量化处理信息的科学分支。处理数据信息集合前后信息发生的变化称为信息增益，信息增益越高的特征就是越好的选择。
集合信息的度量方式称为 香农熵 或简称 熵，源于信息理论之父“克劳德·香农”。
信息量越大，特征越多，权重越小
熵：信息的期望值。
在多分类的事务中，假设的信息为：
注： =
真数的指数与不转换结果相同
其中是该选择分类事务的概率。计算熵则需要计算所有类别中所有 可能值包含的信息期望值(n是分类数目)：
线性转换：
注意 线性的最高次项为1，否则就是非线性
lambda乘以一个系数常量{x_1}
如果(线性)：
z = wx + b
乘积与变量x有关系 则看作为系数
没关系 则看作常量
指数转换：
softmax非线性转换(存在指数操作)
作用：大的更大，小的更小，差别更加明显
最大似然函数的负数，成为所求的损失函数(解决问题的一种思想)
大数定理：
当频率大到一定程度就是概率
激活函数<|>：
神经网络也是线性的
将激活信息(幂函数、指数函数)向后传入下一层神经网络,解决非线性问题
如果(线性)：
z = wx + b
乘积与变量x有关系看作为系数
没关系看作常量
如果(非线性)：
加入了幂函数{e^x}等
矩阵中：
一行是一个样本，一列是一个特征
线性回归就是神经网络
在python中如何取消返回值使用(不用相应位置的返回值)：
_, book, hook = function()
PS:
污点修复工具，先刷背景也可以 思想(不太好用)
修复画笔工具，alt+鼠标右键调整硬度和上下调整直径
alt+鼠标左键复制replication所选区域样本
通过已经完成图片叠压修图更快、更轻松
