马尔可夫链常返

若一个马尔可夫链的首中概率中， ，称状态 为「常返」的，若 ，则称状态 为非常返的。

对于常返态 ，由定义知 构成一概率分布，此分布的数学期望值为

表示由状态 出发再返回状态 的「平均返回时间」。若 ，则称常返态 为正常返的，若 ，则称常返态 为零常返的

从直观上来讲，正常返意味着状态 出去后，能在有限时间内返回，或者给足够长的时间，一定能够返回；零常返意味着状态 出去后，有返回的「倾向」，但是需要的步骤为无穷大，或者给足够长的时间，也无法返回。非常返意味着状态 出去后，有可能不再返回了。

设想一个喝醉的人站在一个无限长的街道上。每一步他向左或向右走的概率是相等的（比如50%）。如果他从某个位置出发（例如原点），根据马尔可夫链的性质，他最终会回到原点（因为概率是 1 ），但是返回的平均时间是无限的，因为可能会走很远才回来。这就是「零常返」。

假设有一个球员，他在球场上踢球，每踢一次球就有一定概率（例如70%）进球，进球后他继续踢球；而剩下的概率（30%）他会错过，错过后他就离开球场，不再踢球。如果他离开球场的状态视为“出局”状态，这个“出局”状态就是「非常返」状态，因为一旦离开球场，他永远不会再回来，也不会有多次返回的情况。