2022-01-12

1.贝叶斯网络

1.1 链式法则

$P(x_1,x_2,\cdots,x_n) = \prod_{i=1}^n P(x_i|x_1,x_2 \cdots x_{i-1})$

举例： $P(x_1,x_2,x_3,x_4) = P(x_1)*P(x_2|x_1)*P(x_3|x_1,x_2)*P(x_4|x_1,x_2,x_3) \tag1$
推导过程：
$\begin{align} P(x_1,x_2,x_3,x_4) &= P(x_4|x_1,x_2,x_3) * P(x_1,x_2,x_3) \tag2 \\ P(x_1,x_2,x_3,x_4) &= P(x_4|x_1,x_2,x_3) * P(x_1,x_2,x_3) \tag3 \\ P(x_1,x_2,x_3) &= P(x_3|x_1,x_2) * P(x_1,x_2) \tag4 \\ P(x_1,x_2) &= P(x_2|x_1) * P(x_1) \tag5 \end{align}$

公式5是常见的贝叶斯公式
当 $x_1,x_2,x_3,x_4$ 符合下图关系， $x_4$ 仅依赖于 $x_3$ ，那么在公式1中 $P(x_4|x_1,x_2,x_3)$ 可以改写成 $P(x_4|x_3)$ ，这样需要算的参数数量会减少

image.png

当 $x_1,x_2,x_3,x_4$ 符合下图关系， $x_2$ 不再以 $x_1$ 为条件，那么在公式1中 $P(x_2|x_1)$ 可以改写成 $P(x_2)$ ；同样的 $x_2$ 不再是 $x_3$ 的父节点， $P(x_3|x_1,x_2)$ 可以改写成 $P(x_3|x_2)$

image.png

1.2 有向图因式分解公式

$P(x_1,x_2,\cdots,x_n) = \prod_{i=1}^n P(x_i|x_{pa_i})$
1.chain模式
证明在给定 $x_2$ (即block $x_1$ 到 $x_3$ 之间的通路)的条件下， $x_1$ 和 $x_3$ 独立，即 $x_1 \bot x_3 |x_2$ ：
根据有向图因式分解公式： $P(x_1,x_2,x_3) = P(x_1)*P(x_2|x_1)*P(x_3|x_2)$
根据链式公式： $P(x_1,x_2,x_3) = P(x_1,x_3|x_2)*P(x_2)$
得出： $P(x_1,x_3|x_2) = \frac {P(x_1)*P(x_2|x_1)*P(x_3|x_2)}{P(x_2)} = P(x_1|x_2)*P(x_3|x_2)$
所以得到 $x_1$ 和 $x_3$ 独立

image.png

2.Diverge模式
证明在给定

x_2

(即block

x_1

到

x_3

之间的通路)的条件下，

x_1

和

x_3

独立，即

x_1 \bot x_3 |x_2

：
根据有向图因式分解公式：

P(x_1,x_2,x_3) = P(x_2)*P(x_1|x_2 )*P(x_3|x_2)

根据链式公式：

P(x_1,x_2,x_3) = P(x_1,x_3|x_2)*P(x_2)

得出：

P(x_1,x_3|x_2) = P(x_1|x_2)*P(x_3|x_2)

image.png

3.Converge/Collider模式
$x_1$ 和 $x_3$ 独立(即 $x_2$ block了 $x_1$ 到 $x_3$ 之间的通路)，但在给定 $x_2$ 的条件下， $x_1$ 和 $x_3$ 不独立：
证明：
根据有向图因式分解公式： $P(x_1,x_2,x_3) = P(x_1)*P(x_3)*P(x_2|x_1,x_3 )$
根据链式公式： $P(x_1,x_2,x_3) = P(x_2|x_1,x_3)*P(x_1,x_3)$
得出： $P(x_1,x_3)= P(x_1)*P(x_3)$
另外一种证明方法：
$P(x_1,x_3)= \sum_{x_2} P(x_1,x_2,x_3)$
$= \sum_{x_2} P(x_1)*P(x_3)*P(x_2|x_1,x_3 )$
$= P(x_1)*P(x_3)*\sum_{x_2} P(x_2|x_1,x_3 )$
$= P(x_1)*P(x_3)$

image.png

D-Separation
D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。
如果A，B，C是三个集合（可以是单独的节点或者是节点的集合），为了判断 A 和 B 是否是 C 条件独立的，我们考虑 E 中所有 A 和 B 之间的无向路径。对于其中的一条路径，如果满足以下两个条件中的任意一条，则称这条路径是阻塞（block）：
（1）路径中存在某个节点 X 是Chain或者Diverge节点，并且 X 是包含在 C 中的；
（2）路径中存在某个节点 X 是Converge节点，并且 X 或 X 的儿子是不包含在 C 中的；
如果 A，B 间所有的路径都是阻塞的，那么 A，B 就是关于 C 条件独立的；否则， A，B 不是关于 C 条件独立的。

例子

image.png

判断图中a与b是否在c条件下独立？
判断 a 和 b 是否是 c下条件独立的： a 到 b 只有一条路径 a->e->f->b 。考虑路径上的点 e 和 f ：其中e 是Converge类型的，且 e 的儿子节点就是 c ，根据条件2，e不阻断。而节点f是Diverge类型节点，根据条件1，f不在c中，所以也有a，b不是c条件下独立。

判断图中a与b是否在f条件下独立？
判断 a 和 b 是否是 f 下条件独立的：路径 a->e->f->b 上的所有节点。考虑路径上的点e和f：节点 e 是Converge类型的，e 和她的儿子节点 c 都不在 f 中，所以根据条件2，e是阻断路径的节点。节点 f 是Diverge类型节点，且 f 节点就在 f中，所以 f 节点阻断了路径。结论：a 和 b是 f 下条件独立的。

2.后门调整准则

2.1 干预 / $do$ 算子

image.png

定义：将因果图中结点

X

值修改为

x

，记为

do(X = x )

，可以简写为

do(x )

。
性质：在对结点

X

进行干预时，会删除因果图中指向

X

的边，干预节点的概率为1，其他的节点概率保持不变；

image.png

与“以变量为条件”(conditioning)的区别：

表现形式： $P(Y = y ∣ X = x )$ vs $P(Y=y | do(X=x))$
“以变量为条件”是选取观测到T=1的样本子集，“干预”是让所有样本T=1
“以变量为条件”不改变原始数据的分布，“干预”改变了原始数据的分布

2.2 截断式因式分解（Truncated Factorization）

image.png

根据有向图因式分解公式：

P(y,t,x) = P(x)*P(t|x)*P(y|t,x)

根据截断式的性质，

P(t|x)=1

，所以：

P(y,x|do(t)) = P(y|t,x)*P(x)

边际化

x

：

P(y|do(t)) = \sum_x P(y|t,x)*P(x)

$P(y|t,x)*P(x|t) =\frac {P(y|t,x)*P(x|t)*P(t)}{P(t)}=\frac {P(y,t,x)}{P(t)}=\frac {P(y,x|t)*P(t)}{P(t)}=P(y,x|t)$
$\sum_x P(y|t,x)*P(x|t) = \sum_x P(y,x|t) = P(y|t)$
$P(y|t)$ 和 $P(y|do(t))$ 的区别在与一个是乘以 $P(x|t)$ ，一个是乘以 $P(x)$ ， $P(y|t)$ 表示相关性， $P(y|do(t))$ 表示因果性，由于confounder $X$ 的存在， $相关性\neq因果性$ 。
如果切断 $x$ 和 $t$ 之间的联系，那么 $P(x) = P(x|t)$

2.3 后门调整（Backdoor Adjustment）

和2.2节同样的DAG图，推导后门调整公式：
$\begin{align} P(y|do(t)) &= \sum_x P(y|do(t),x)*P(x|do(t)) \\ &= \sum_x P(y|t,x)*P(x|do(t)) \\ &= \sum_x P(y|t,x)*P(x) \end{align}$
第1个等号：
$\begin{align} \sum_x P(y|do(t),x)*P(x|do(t)) & = \sum_x \frac{P(y|do(t),x)*P(x|do(t))*P(do(t))}{P(do(t))} \\ &= \sum_x \frac{P(y,do(t),x)}{P(do(t))} \\ &= \sum_x \frac{P(y,x|do(t))*P(do(t))}{P(do(t))} \\ &=\sum_x P(y,x|do(t)) = P(y|do(t)) \end{align}$
第2个等号：because y blocks all backdoor paths from t to y, the only association flowing from t to y is causal association. so we can remove $do(t)$ in the factor for y
第3个等号: 简单理解就是根据后门准则，给定了 $x$ ，切断了 $t \rightarrow x \rightarrow y$ 这条路，使得只有 $t \rightarrow y$ 这一条路，而这条路是我们想获得的causal association.
消除 $do(t)$ 是因为：1. $do(t)$ 切断了 $T$ 的parents，没有in-edge association流向 $T \rightarrow W$ ; 2. 如果存在association则为T 的 out-edge association，则会与Y形成一个collider，association 被 collider 切断。所以T与W独立下面举个例子，

image.png

切断

C \rightarrow T

的连接，C，T，Y形成collider，由于Y未观测，C和T独立
because we're intervening on t,there are no incoming edges to t, so no association can flow from t to x through backdoor paths,so the only way that association could flow from t to x,is through paths that are directed out of t,not backdoor paths and this is where the second part of the backdoor criterion come into play, we cannot have any association from t to w, that's directed out of f because it will run into colliders, so in this
另一种证明方法：
这种证明的方法一个重点是

P_m

分布和

P

一样了？？？

image.png

参考资料

链式法则&有向图因式分解公式
 d-separation
后门调整参考1
后门调整参考2

最后编辑于：2022.01.12 20:35:16

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 200,612评论 5赞 471
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 84,345评论 2赞 377
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 147,625评论 0赞 332
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,022评论 1赞 272
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 62,974评论 5赞 360
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,227评论 1赞 277
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,688评论 3赞 392
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,358评论 0赞 255
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,490评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,402评论 2赞 317
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,446评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,126评论 3赞 315
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,721评论 3赞 303
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,802评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,013评论 1赞 255
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,504评论 2赞 346
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,080评论 2赞 341

2022-01-12

1.贝叶斯网络

1.1 链式法则

1.2 有向图因式分解公式

2.后门调整准则

2.1 干预 / 算子

2.2 截断式因式分解（Truncated Factorization）

2.3 后门调整（Backdoor Adjustment）

参考资料

推荐阅读更多精彩内容

2.1 干预 / $do$ 算子