设 为马尔可夫链，则对任意 和 ，有

证明：

加上一个初始

根据马尔可夫链的性质

设马尔可夫链 有状态空间 ，其一步转移概率矩阵为

求 和两步转移概率矩阵

解：

根据 CK 方程

设质点在数轴上移动，每次一动一个，向右移动的概率为 ，向左移动的概率为 ，这种运动称为无限制随机游动。以 表示时刻 质点所处的位置，则 是一个齐次马尔可夫链，求一步和 步转移概率

解：

一步转移概率为

因此其一步概率转移矩阵可以表示为

设 步转移概率为 ，即经过 步转移结果从状态 到状态 ，设在这 步转移中向右 步，向左 步则

解得

因为在 步中，哪 步向右是任意的，所以向右 步选取的方式有 ，则

设马尔可夫链有 个状态，已知第 时刻的绝对概率向量 为

求 时刻的绝对概率向量

解：

以两个状态的情况为例， 个时刻的 ， 和 个时刻的

由马尔可夫性将其分别展开

同理

所以

结论为

设某地区有 1600 居民，有甲、乙、丙三个工厂的产品在该地区销售，据调查 8 月份买甲、乙、丙三个工厂产品的户数分别为 480，320，800，9 月份调查发现原买甲 48 户转买乙，96 户转买丙；原买乙的有 32 户转买甲，有 64 户转买丙；原来买丙的有 64户转买甲，有 32 户转买乙，估算 9 月份及 12 月份， 甲、乙、丙三个工厂的产品在该地区市场占用率。

解：

9 月份的市场占有率为：甲乙丙

8 月份的市场占有率为

甲乙丙

因此初始概率分布为

甲乙丙

而一步转移概率矩阵

所以 9 月份的市场占有率为

甲乙丙甲乙丙

若一步转移概率矩阵不变，则 12 月的市场占有率为

甲乙丙甲乙丙

设马尔可夫链 的状态空间为 ，转移概率为

试从常返性和周期性角度，判断各状态的性质

解：

先考察状态 0

因此有

因此状态 0 是常返的。进一步有

因此状态 0 是正常返的。对于非零状态，比如状态 同样的思路考虑有

因此除了状态 0 以外的其他状态都是非常返的。在考虑周期性。对于状态 0，其返回路径长度可以取所有正整数，因此周期为 1。而对于非零状态，其返回路径取 ，因此周期也为 1

甲乙两人进行某种比赛，设每局比赛中甲胜的概率为 ，乙胜的概率为 ，平局的概率为 ，其中 。设每局比赛结束后，胜者得 1 分，负者得 -1 分，平局不记分，当两个人中有一个人得到 2 分时比赛结束。用 表示比赛至第 局时甲获得的分数，则 是一齐次马尔可夫链。

• 写出状态空间
• 求一步转移概率矩阵
• 求在甲获得一分的情况下，再赛两局甲胜的概率

解：

显然概率空间为 ，一步转移概率矩阵为

在甲获得一分的情况下，再赛两局甲胜的概率，只能是第一次平局，第二次获胜。故概率为

考虑一个具有状态 的马尔可夫链，其转移概率满足 ，其中 ，请找出为了使该马尔可夫链正常返，所有的 应该满足的充要条件，并计算其在这种情况下的转移概率。

解：

（注：这题似乎有问题，也许题目的意思应该是为了让此马尔可夫链「平稳」而非正常返）

由题意，要满足马尔可夫正常返，当且仅当

有一组解 。根据 ，方程可重写为

则有

其中 ，因此

从而，随机游动为正常返的充要条件是

设齐次马尔可夫链 的转移概率矩阵为

且初始概率分布为

• 求
• 求
• 求平稳分布

解：

由题意可以直接得到

第二小题

平稳分布时满足

解得

独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为 ，对于 ，令 ，这些值分别对应于第 次和第 次抛掷的结果为：正正、正反、反正、反反，求马尔可夫链 的一步和二步转移概率矩阵

解：由题意，可以直接写出一步转移概率矩阵

二步转移概率矩阵可以直接让两个一步转移概率矩阵相乘，也可以从实际意义中去理解

已知随机游动的一步转移概率矩阵为

状态空间为，求三步转移概率矩阵 及当初始分布为

时，经三步转移后处于状态 3 的概率。

解：

三步转移概率矩阵为

因此，处于状态 3 的概率为 0.25

某商品六年共 24 个季度销售记录如下表所示（状态 1一畅销。状态 2一滞销）。

以频率估计概率，求销售状态的初始分布，三步转移概率矩阵及三步转移后销售状态的分布

解：

以频率估计概率，数出来发现在 24 个季度中，畅销概率为 ，滞销概率为 ，故有

而观察可以发现，从 1 状态转移到 2 状态的概率为 ，从 2 状态转移到 1 状态的概率为 ，因此一步转移矩阵应为

故有

代入初始状态

设有一电脉冲，脉冲的幅度是随机的，其幅度的可取值是 ， ，且各幅度出现的概率相同。现用一电表测量其幅度，每隔一单位时间测量一次，从首次测量开始，经过 次测量后记录其最大幅值为 。

• 证明该过程为一齐次马尔可夫链
• 写出一步转移概率矩阵
• 仪器记录到最大值的期望时间。