马尔可夫链由状态 出发，经 步首次到达状态 的概率称为「首中概率」，表示为
同时我们令
表示马尔可夫链由状态 出发，经有限步终于到达状态 的 概率。不同的路径，存在不同的首中概率，因此首中概率可以是多值的