最近接触Efron大神的经验贝叶斯相关内容，大受震撼！准备把Large-Scale Inference一书认真学习一遍，特此记录。
1.1 贝叶斯规则和多元正态分布的估计
1.1.1 贝叶斯框架
正态分布场景，在贝叶斯框架下，观测值可以来自参数
的正态分布，而
又可以服从某种分布，即：
根据贝叶斯规则：
其中是
的边缘概率分布：
1.1.2 先验为正态分布时
此节关注先验为正态分布场景。
为了描述简单，且不失一般性。如果是
，且
，则：
1.1.3 评判估计的好坏
现实中我们只能通过观测值来估计
，定义为
，则其估计值得风险函数可以是：
1.1.4 最大似然与贝叶斯孰优孰劣？
基于以上前提，由于是单位矩阵：
- 最大似然估计
，则此时风险为
证明:
服从
，则
服从自由度为N的卡方分布，根据卡方分布性质：
- 贝叶斯估计
，则
在考虑的先验分布，此时全局风险为
由此可见：
因此在先验正确的情况下，贝叶斯估计总是好于最大似然估计。
1.2 经验贝叶斯估计
如果1.1中的模型是正确的，但是不知道其中的A，可以采用经验贝叶斯方法。
此时，如
，则
，根据逆卡方分布性质可得到：
把作为
的估计值带入
，就得到了神奇的James-Stein估计！
可以得出James-Stein估计的风险值：
定理：当 N ≥ 3 时,James-Stein 估计量的均方误差总是小于极大似然估计量的均方误差，
即，
(此定理James和Stein是通过频率派方法证明的，也就是说先验可以为任意)
更一般的情况，如果，且互相独立，则
，则James-Stein经验贝叶斯估计为：
时，定理仍然成立。
书里有一个采用棒球手真实数据的例子，James-Stein估计法的风险仅仅是MLE估计法的0.28。
这里神奇的是，我们用的是贝叶斯方法，但是并没有对先验的参数做任何主观的假设。
1.3 估计个体
使用James-Stein估计法有可能遇到下面这种问题，整体来看MSE好于MLE法，但是部分个体却差很多（第10行）。
这是因为10代表的球手是一个非常优秀的运动员，一个离群值，他不应该向其他人“收缩”。
对这种情况可以进行一些修正(limited translation estimator)，使整体MSE没有提升太多的情况下，降低离群值个体的MSE。
1.4 从其它个体信息中学习
上图代表了James-Stein的估计流程，其它个体估计了先验的参数，将估计的先验分布与
还可以结合回归，将先验变得更科学，比如肾脏健康与年龄是相关的，评估一个人肾脏可以用以下模型：
则james-stein估计会变为：
1.5 经验贝叶斯置信区间
由于，可以得到对应的置信区间：
由于是不知道的，但是知道其无偏估计
，再结合
的波动性：
不难得到对应的置信区间。
