n 步转移概率

条件概率

马尔可夫链 步转移概率,并称

称为系统状态的 步转移概率矩阵,且规定

性质

为马尔可夫链,则对任意整数 步转移概率具有下列性质

性质1

称此方程为Chapman-Kolmogorov 方程,意味着可以把高阶转移概率分解成低阶的转移概率

性质2

性质3

性质4