起初看马尔科夫过程是想找一些方法解决现有实验中的一个问题，但考察下来感觉不适合，但也把学习的东西记下来。
马尔科夫过程指的是一类随机过程，该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。在现实世界中，有很多过程都属于马尔可夫过程，例如布朗运动、谣言传播、游乐园游玩人数等。花丛中的一只蜜蜂的采蜜过程是马尔可夫过程的一个形象化的例子。蜜蜂依照它瞬间的念头从一朵花上飞到另一朵花上采蜜，因为蜜蜂是没有记忆的，当现在所处的花朵位置已知时，它将来飞往何处和它以往呆过的花朵都无关。如果用X0,X1,X2,…分别表示蜜蜂刚开始采蜜的花朵以及将来去的采蜜的花朵，那么{Xt，t≥0} 就是一个马尔可夫过程。而Xt+1发生的概率只与Xt有关。由此，我们可以得出马尔科夫过程的公式：
马尔科夫过程的公式
让我们用天气的预测来进一步解释马尔科夫过程的实际应用。假设天气的状态有三种：晴天，阴天，雨天。而气象学家和统计学家合力计算出来一个状态转换矩阵M，供预测天气使用。这个矩阵表面，如果今天是阴天的话，明天还是阴天的概率是0.125。
天气的状态转换矩阵M
我们暂且相信这个状态转换矩阵是相对正确的。那么，问题来了，假设今天是晴天，后天是雨天的概率是多少呢？如果我们假设天气的状态都只依赖于前一天的状态，即马尔科夫假设，这样就可以简化天气预测问题。我们可以定义今天的天气状态向量为X0=[ 1,0,0 ] (晴天)。那么X2=X0MM（X2=X1M，X1=X0M）。
