课程概述

随机过程」(Stochastic Processes),是电子信息工程的必修课是研究随机事件演变规律的数学分支,其研究对象是随机变量在时间或空间上的演变过程。本课程所介绍的内容是信息与通信工程领域中各种随机现象的基本数学模型和统计规律性。

什么是随机现象?为何会产生随机现象?什么是其数学模型?什么是其统计规律?掌握数学模型和统计规律性有什么作用?这门课将会回答这些问题。

在学习这门课之前,需要掌握:

学习完这门课后,就可以开始着手

概论

随机过程的定义

自然界所有的东西都是变化着的,为何会产生随机现象?

决定现象发生的因素和机制过于复杂,超过了观察者的认识能力,观测者自己所掌握的资料无法准确预测现象的发生。

自然界事物的变化过程分为两大类

  • 具有确定形式的过程,可以用一个时间 的确定函数来描述
  • 另外一种过程没有确定的变化形式,不能用一个时间 的确定函数来描述

在每次随机试验的结果中,以一定的概率取某个事先未知,但为确定的数值。

在实际应用中,我们经常要涉及到在随机试验过程中随时间 而改变的随机变量。此时,这种随机现象是个“过程”。随机过程也是有规律的,如何描述一个随机过程?

我们必须对一些随机现象的变化过程进行研究,必须考虑无穷多个随机变量。针对这个问题,我们必须用一族随机变量才能刻画这种随机现象的全部统计规律。我们通常将随机变量族称为随机过程

定义1

概率空间 是给定的参数集,若对每个固定的时刻 ,有一个随机变量 与之对应,则称随机变量族 是一个「随机过程」(Random Process),简记为随机过程

定义2

概率空间 是给定的参数集,若对每个事件 ,总可以以某种规则确定一个时间函数 ,称为「样本函数」或轨道),,则对于所有 ,就得到一个样本的集合,称此函数为「随机过程」(Random Process),简记为随机过程

本质上是横竖「切割」方法不同。随机过程 可以认为是定义在 上的一个二元函数

  • 对于固定的 是一个随机变量。这是一个标量,它表示时刻 所处的状态, 所有可能的状态构成的集合称为状态空间
  • 对于固定的 是随机过程 的一个样本函数(轨道),即定义在 上的普通函数。

随机过程的分类

通常我们可以根据随机变量 在时间和状态上的类型区分随机过程的类型。在时间和状态上都连续的随机过程称为「连续型随机过程」,在时间上连续而在状态上离散的称为「离散型随机过程」,在时间上离散而在状态上连续的称为「连续型随机序列」,在时间上和状态上均离散的随机过程称为「离散型随机序列

两随机过程之间的关系

复随机过程

例题

例1

用重复抛硬币定义一个随机过程

的一维分布函数 和二维分布函数 ,并且求出 的均值函数 ,方差函数

给出了 的表达式,所谓的抛硬币,就是告诉我们随机过程 时刻的取值有一半的概率为 ,另一半为 。由题意,可以直接写出分布律

因此 的分布函数为

而对于二维分布函数,在 两个时刻的抛硬币是相互独立的,意味着二维分布函数就等于各自分布函数相乘。同样写出分布律

因此有

再求其数字特征,首先根据数学期望的定义有

然后再根据方差定义

不相关性

例2

设随机过程

其中, 是相互独立的随机变量,且 ,求 的均值函数和协方差函数

分析:

比如 时,样本函数为

由于独立性,且对于随机变量,含 的项为常数,因此可以提出来

再来求协方差函数。协方差函数和自相关函数有关系

于是可得到

注意到

因此我们可以得出结论,此随机过程的均值函数是常数,而自相关函数只和时间差有关,因此这是一个广义平稳过程

例3

是正交增量过程, 为有限区间,且规定 ,当 时,求其协方差函数$ B_X(s,t)$。

解:由正交增量过程

不会写了

例4

设随机变量 具有概率密度 ,令

求随机过程 的一维概率密度、均值和相关函数

解:

这里需要用到《概率论与数理统计》中提到的“随机变量函数的分布”,提到的分布函数法。设连续型随机变量 有密度函数 严格单调且反函数 有连续导数,则 也是连续型随机变量,其密度函数为

对于本题而言, 的密度函数就可以表示为

而求解均值和相关函数时,按照定义进行求解即可。注意到这里的均值的计算,需要表示成 的函数

例5

为实随机过程, 为任意实数,令

证明:随机过程 的均值函数和相关函数分别为 的一维和二维分布函数。

解:

直接由定义式

例6

设随机过程 ,其中 是相互独立的随机变量,且

的均值函数和协方差函数

解:

对于 而言,有

对于给定的 服从二项分布,因此有

时,

同理

例7

是独立同分布的随机变量,且

其中 为常数。证明随机过程 是广义平稳过程,但不是严平稳过程。

解:

首先,广义平稳过程要求均值不是时间 的函数,且自相关函数只与时间差 有关。而严平稳过程从定义上来说,要求无穷多维分布都对应相等。现在我们针对这三个问题分别进行分析。首先,我们根据均值的定义式

与时间无关,第一个条件满足。接下来看第二个条件

注意到 是独立的,且 ,则后两项期望为零。对前两项应用和差化积可以得到

注意到 ,因此

自相关函数只与时间差 有关。第二个条件满足,次随机过程是宽平稳过程。接下来看第三个条件,显然 的分布与 有关,当 变化时,无法满足同分布,因此次随机过程不是严平稳随机过程

例8

是参数为 的维纳过程,令 为常数。证明: 是平稳正态过程,相关函数

解:

由题意知 是维纳过程,,故

此可以得到均值为零 ,再来看相关函数,设

根据维纳过程的性质,可以进行拆分

由于是独立增量过程,故其中

因此相关函数可表示为

因此是平稳的,相关函数如上

例9

考察两个谐波随机信号 ,其中

其中 为正的常数, 内均匀分布的随机变量, 是标准正态分布的随机变量。求 的均值,方差和相关函数。若 独立,求 的互相关函数

解:

首先对于 ,直接根据定义

再求互相关函数