一、条件概率公式
举个例子，比如让你背对着一个人，让你猜猜背后这个人是女孩的概率是多少？直接猜测，肯定是只有５０％的概率，假如现在告诉你背后这个人是个长头发，那么女的概率就变为９０％。所以条件概率的意义就是，当给定条件发生变化后，会导致事件发生的可能性发生变化。
条件概率由文氏图出发，比较容易理解：
，因此：
由：
得：
这就是条件概率公式。
假如事件A与B相互独立，那么：
注：
相互独立：表示两个事件发生互不影响。而互斥：表示两个事件不能同时发生，（两个事件肯定没有交集）。互斥事件一定不独立（因为一件事的发生导致了另一件事不能发生）；独立事件一定不互斥，（如果独立事件互斥， 那么根据互斥事件一定不独立，那么就矛盾了），但是在概率形式上具有一些巧合性，一般地：
，并不是一定表示互斥。互斥和独立的理解还是要究其真正意义，而不是表达形式。
二、全概率公式
先举个例子，小张从家到公司上班总共有三条路可以直达（如下图），但是每条路每天拥堵的可能性不太一样，由于路的远近不同，选择每条路的概率如下：
每天上述三条路不拥堵的概率分别为：
假设遇到拥堵会迟到，那么小张从Home到Company不迟到的概率是多少？
为选择第i条路，则：
全概率就是表示达到某个目的，有多种方式（或者造成某种结果，有多种原因），问达到目的的概率是多少（造成这种结果的概率是多少）？
全概率公式：
设事件是一个完备事件组，则对于任意一个事件Ｃ，若有如下公式成立：
那么就称这个公式为全概率公式。
三、贝叶斯公式
仍旧借用上述的例子，但是问题发生了改变，问题修改为：到达公司未迟到选择第１条路的概率是多少？
可不是
，因为0.5这个概率表示的是，选择第一条路的时候并没有靠考虑是不是迟到，只是因为距离公司近才知道选择它的概率，而现在我们是知道未迟到这个结果，是在这个基础上问你选择第一条路的概率，所以并不是直接就可以得出的。
故有：
所以选择第一条路的概率为０．２８．
贝叶斯公式就是当已知结果，问导致这个结果的第i原因的可能性是多少？执果索因！
贝叶斯公式：
在已知条件概率和全概率的基础上，贝叶斯公式是很容易计算的：
联合概率与链式法则
P(A,B,C,...,X) 即为ABC..X等多个事件的联合概率，而求联合概率密度用到链式法则
链式法则:
P(A,B,C,...,X) = P(A)⋅P(A|B)⋅P(C|A,B)⋅P(D|A,B,C)...P(X|A,B,C...)
信息论
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事 件发生，能提供更多的信息。消息说： ‘‘今天早上太阳升起’’ 信息量是如此之少以至 于没有必要发送，但一条消息说： ‘‘今天早上有日食’’ 信息量就很丰富。 我们想要通过这种基本想法来量化信息。特别地，
非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件 应该没有信息量。
较不可能发生的事件具有更高的信息量。
独立事件应具有增量的信息。例如，投掷的硬币两次正面朝上传递的信息量， 应该是投掷一次硬币正面朝上的信息量的两倍。
参考：
https://blog.csdn.net/Hearthougan/article/details/75174210
https://www.cnblogs.com/jiangkejie/p/10473427.html
https://lefer.cn/posts/59834/
