§3 随机过程
一、 一般随机过程
[随机过程的定义] 对于每个tT(T 是某个固定的实数集),(t)是个随机变量，就把这样的 随机变量族{(t)，tT}称为随机过程。随机过程一次实验的结果是定义在T上的函数，称为 随机过程的一次实现。当参数t的变化范围T是个整数集合，则称
(t), t=0,1,2,
为随机序列。
当 T 只包含一个或有限个元素，{(t)，tT}就是概率论中研究过的随机变量或随机矢 量。
[随机过程的有穷维分布函数族] 设{(t)，tT}是 随 机 过 程 ， 对 任 意 的 正 整 数 n 及 任 意 的 t1, t2, ，tnT,随 机 变 量(t1) ,(t2) ,，(tn)的 联 合 分 布 函 数 为
) ) ( , , ) ( , ) ( ( ) , , ,
( 1 2 1 2 2
, ,2
1t t n n n
t x x x P t x t x t x
F n
称
Ft1,t2, ,t (x1,x2, ,xn)
n
为随机过程的有穷维分布函数族。它不仅刻划了对应于每一个t的随
机变量(t)的统计规律性，而且也刻划了各个随机变量(t)之间的关系，从而完整地描述了随 机过程的统计规律性。
[随机过程的统计参数] 设{(t)，tT}是个复值随机过程(指它的实部和虚部都是实的随 机过程)。主要的统计参数有：
1°均值函数 对每个tT,随机变量(t)的数学期望（均值）
m(t) E(t)
xdFt(x) 称为随机过程的均值函数，式中Ft(x)是(t)的分布函数。2°协方差函数与方差函数 对任意的s, tT,
R(s,t)E[(s)m(s)][(t)m(t)]
称为随机过程的协方差函数(或相关函数)，式中m(t)是均值函数。
特别地，当s=t,则称
R(t,t)E[(t)m(t)]2 为随机过程的方差函数(或自相关函数)。
3°高阶矩 若对任意的正整数n，非负整数m1 , m2 , , mn , m= m1+m2++mn及任意实 数t1,t2,,tn， 随 机 变 量(t1)m1(t2)m2(tn)mn的 数 学 期 望 存 在 ， 则
) , , ( d
] ) ( ) ( [ ) , ,
(1 1 1 1 , , 1
,
, 1
1
1 t t n
m n m
n mn
n m
n m
m t t E t t x x F x x
n n
n
称它为(t)在t1,t2,,t n矩 的一个m阶矩。
[随机过程的均方连续性] 设{(t)，tT}是一随机过程，t0T,如果 l i m ( ) ( 0)2 0
0
E t t
T t
t
t
即 ( ) l.i.m. ( )
0
0 t
t
t
t
则称(t)在t=t0是均方连续的，式中l.i.m.表示均方收敛。如果(t)对于任意tT都是均方连续，
就称(t)在T上是均方连续的。
随机过程{(t)，tT}的如下三命题是等价的：
1° 随机过程{(t)，tT}在T上均方连续；
2° 随机过程{(t)，tT}的协方差函数R(s,t)(s,tT)关于s,t是连续的；
3°随机过程{(t)，tT}的 协方差函数R(s,t)(s,tT)在对角线s=t 上关于s,t 是连续的。
下面介绍特殊类型的随机变量：
[独立随机过程] 若对任意的正整数 n 和任意的任 意 的 t1,t2,tnT,随 机 变 量
(t1),(t2),,(tn)是相互独立的，即
) ( ) ( ) (
) ) ( ( ) ) ( ( ) ) ( (
) ) ( , , ) ( , ) ( ( ) , , (
2 1
2 2 1
1
2 2 1 1 2
1 , , ,
2 1 2
1
n t t
t
n n
n n n
t t t
x F x F x F
x t P x t P x t P
x t x
t x t P x x x F
n n
则称{(t)，tT}是独立随机过程。
[正态过程] 若对任意的正整数n和任意的t1,t2,,tnT,随机变量(t1),(t2),,(tn) 的联合分布总是正态的，即
1 n t1,t2, ,t ( 1, 2, , n)
n
x x x x F
x n
n
k j
k k
j j
jk n
jk R t m t t m t
R
1 2 ,
2 1
)]
( ) ( )][
( ) ( 2 [
exp 1 )
2 (
)]
[det(
则称{(t)，tT}是正态（或高斯）过程，式中 Rjk=R(j,k),(Rjk)称为协方差矩阵;(Rjk)是(Rjk)的
逆矩阵。
[马尔科夫过程] 若对任意的 n=1,2,和任意的 t0,t1,,tnT(其中 t0<t1<<tn)以及任意的 实数x, y，等式
P{(tn)≤ y|(tn-1)=x,(tn-2)=xn-2,,(t0)=x0}=P{(tn)≤ y|(tn-1)=x}
对所有的(tn-1),, (t0)成立，则称{(t)，tT}是马尔科夫过程，简称马氏过程。
[时齐马尔科夫过程] 设{(t)，tT}是马尔科夫过程，若对任意的t1T,t2T (t1<t2),条件分布
) , , ( } ) (
| ) ( { )
;
(t1x t2y P t1 y t1 x F t2 t1 x y
F
即条件分布 F(t1,x;t2, y)只依赖于 t2-t1,x,y,则称{(t)，tT}是 一 个 时 齐 (对 时 间 齐 次 地 ) 的 马 尔 科 夫 过 程 。
[具有独立增量的 随 机过程] 若对n2,3,及任意一组tmT(m0,1,,n ，其中 tn
t
t0 1 ），随机变量(t1)(t0)，(t2)(t1)，，(tn)(tn1)是相互独立的，则 称{(t),tT}是个具有独立增量的随机过程。
[具 有 平 稳 增 量 的 随 机 过 程 ] 若对任意的t1,t2T 和任意h(t1+h,t2+hT)，随 机 变 量
(t2+h)(t1+h)与(t2)(t1)
遵从相同的概率分布，则称{(t),tT}是具有平稳增量的随机过程。
[泊松过程] 设{(t)，0≤ t<∞ }是具有平稳独立增量，取非负整数值的随机过程。如果 对于任意t (0≤ t<∞ ),关系式
t k
k e k t t
P
! ) ) ( ) (
( (k=0,1,2,) 成立(其中λ >0为常数)，则称{(t)，0≤ t<∞ }为泊松过程。
[维纳过程] 若随机过程{(t)，0≤ t<∞ }满足 P((0)=0)=1,具有平稳独立增量，并且 随机变量(t)的分布密度函数是
2 22 2
) 1 ,
(
t
x
t e x
t
P
则称{(t)，0≤ t<∞ }是维纳过程或布郎运动过程。
[ 平 稳 过 程 ] 若 对 于 n=1,2,, 任 意 tmT(m=1,2,,n) 及 任 意 的τ (tm+τ
T,m=1,2,,n)，等式
) , (
} ) ( ( , ), ) ( {
) ) ( , , ) ( , ) ( ( ) , , (
1 , ,
1 1
2 2 1 1 1
, ,
1 1
n t
t
n n
n n n
t t
x x F
x t
P x
t P
x t x
t x t P x x F
n n
成立，则称{(t)，tT}是平稳过程(狭义的平稳过程)。
二、 马尔科夫过程
1、转移概率
[状态与状态转移概率] 考虑一系列随机试验，其中每次试验的结果如果出现可列个两两 互斥事件E1,E2,中的一个而且仅出现一个，则称这些事件Ei(i=1,2,)为状态。如果Ei出 现，就称系统处在状态Ei。用pij(t,τ )表示“ 已知在时刻t系统处在状态Ei的条件下，在时刻
τ （t>τ ）系统处在状态Ej” 的条件概率，称pij(t,τ )为转移概率。
[过程的无后效应与时齐性] 无后效性 若在已知时刻t0系统所处状态的条件下，在时刻 t0以后系统将到达状态的情况与时刻t0以前系统所处的状态无关，则称过程为无后效的。
时齐性 若转移概率pij(t,τ )只与i,j,τ t有关，则称过程为时齐的，简记 pi j(τ )=pi j(t,t+τ )
2、马尔科夫链
[马尔科夫链] 马尔科夫链是时间与状态都是离散的马尔科夫过程。
1° 设在一系列随机试验下，系统的可能离散状态为 E0,E1,,如果对于任意二正整数k,m, 任意整数0≤ j1<j2<<jl<m,等式
)
| ( )
|
(Em k EmEjl Ej2Ej1 P Em k Em
P
都成立(Em表示“ 第m次试验出现Em” 的事件)，那末称这一随机试验列为马尔科夫链，简称 马氏链。
2° 随机变量序列{n}(n=0,1,)为马尔科夫链的定义
设{n}(n=0,1,)为一随机变量序列，它们中间的每一个都可能取值(相当于所处状态 Ei)
xi(i=0,1,2,),如果对于任意正整数k,m,任意正整数0≤ j1<j2<<jl<m,等式 ) (
) ,
, , ,
( m k xm k m xm j xj j2 xj2 j1 xj1 P m k xm k m xm
P l l
成立，就称{n}为马尔科夫链，简称马氏链。
通常可取{xi}={1,2,}。
马氏链所刻划的随机试验序列，可以直观地理解为要验测“ 将来” 所处的状态只要用“ 现 在” 已知的状态，而“ 过去” 的状态不起任何作用，这就是无后效性。
马氏链，以至于马尔科夫过程都是具有无后效性的随机过程。
[马尔科夫链的转移概率矩阵] 如果在时刻m系统由状态Ei经过一次转移到达状态Ej的 概率和时刻m无关，那末就可用pij表示这个一次转移概率。显然
1j
pij （pi j≥ 0,i,j=0,1,2,）
转移概率pij可排成一个转移概率矩阵
1 2 1 1 1 0
0 2 0 1 0 0
)
( p p p
p p p p
P ij
这是一个每行元素和为1的非负元素的矩阵，称为马氏链的一步转移概率矩阵。
同样用pij(n)表示系统由状态Ei经过n次转移而到达Ej的转移概率，
同样定义马氏链的n步转移概率矩阵：
) ( ( )
)
( n
ij
n p
P
由无后效性，得
r
m n rj m ir n
ij p p
p( ) ( ) ( ) 称为切普曼-柯尔莫哥洛夫方程。
由切普曼-柯尔莫哥洛夫方程可以推出
P(n)=Pn
[闭集与状态的分类] 考虑时齐的马氏链。设E为状态空间，E=(E0,E1,E2,),如果存在正 整数n 使得p(jkn) 0，则称Ek可自Ej到达，并记为EjEk. 。如EjEk且EkEj，就说Ej， Ek,互通，记作EjEk。
称E的子集C为闭集，是指C外的任一状态都不能自C内任一状态到达。设E是闭集，
若单点集{Ek}成一闭集，就称Ek为吸引状态，若E内不存在真子集是闭集，称这个马氏链是 不可分的。
记“ 系统处在状态Ei的条件下，经n步转移初次到状态 Ej” 的条件概率为 fij(n)，它可用 转移概率表示为
is ss s j
n k
j s n
ij n
k
p p
p
f 1 12 1
) 1 ( ) (
于是
) ( )
1 ( )
2 ( ) 2 ( ) 1 ( ) 1 ( )
( n
ij jj n ij n
jj ij n jj ij n
ij f p f p f p f
p
记
1 ) ( n
n ij
ij f
f
它是“ 系统在开始处于状态Ei的条件下，经有穷次转移后终于到达状态Ej” 的条件概率，并 令
11 ) ( n
n ij
ij nf
如fij=1,则可视ij为从状态Ei出发，初次到达状态Ej转移次数的数学期望
状态分类如下：
1° 如果fjj=1,则称Ej为常返的；如果fjj<1，则称Ej为非常返的；
2° 设Ej是常返状态，若jj=∞ ，则称Ej为消极常返的(或零状态)；若μ jj<∞ ,则称Ej为积 极常返的(或正状态)。
3° 如果正整数
n p(jjn) 0
有最大公约数 t，当 t>1,称 Ej为周期的，或具有周期 t;当 t=1, 则称Ej为非周期的。4° 如果Ej是常返，非周期正状态，则称Ej为遍历的。
状态分类的判别法
1° Ej为非常返的充分必要条件是
1 ) ( n
n
pjj 。 2° 若Ej是有周期t的常返状态，则
jj nt n jj
p t
)
lim ( 。
3° 若Ej是遍历的，则 1 0
lim ( )
jj
n n pij
。
4° 若Ej是常返的，则它为零状态的充分必要条件是lim ( ) 0
n
n pij 。
[马尔科夫链的分解定理] 任一系统的状态空间可以分解为下列不交子集 D,C1,C2,之 和，其中
1° 任一Cj是由常返状态构成的不可分的闭集，Ci中的状态不能自Cj(i≠ j)中的状态到达；
2° Cj 中的状态属同类：或者都是零的，或者都是遍历的，或者都是有周期的非零的状 态(在任何一种情况下，Cj中各状态都有相同的周期)，而且fik=1(EiCj,EkCj);
3° D由一切非常返状态构成(Cj中的状态可能自D中的状态到达，反过来不行)。
[马尔科夫链的遍历性定理] 对于不同的类型，有如下的遍历性定理：
1° 若EkD或Ek为零状态，则对任意的j，有
0 lim ( )
n n pjk
2° 若Ek是周期为t的正的常返状态，则对任意的j，有
kk jk r nt n jk
r t f
p ( )
lim ( )
(1≤ r≤ t)
其中
0
)
) (
(
m
r mt jk
jk r f
f
表示自Ej出发，在某n步(n≡ r(modt))上初次到达Ek的概率。
3° 对于不可分非周期的马氏链，极限
j n
n pij p
)
lim (
存在，而且只能有下面两种情况：
（i）所有pj(出现Ej的概率)都大于零，此时{pj}是唯一的平稳分布，即概率分布{pj}满足
i ij i
j p p
p （j=0,1,）
（ii）所有的pj都等于零，此时不存在平稳分布。
3、时间连续、状态离散的马尔科夫过程 这里只考虑时齐的马尔科夫过程。
[切尔曼-柯尔莫哥洛夫方程] 令pij(t)表示时间间隔为t、系统从状态Ei转移到状态Ej的 概率，那末
1 ) (
1
j
ij t
p ， pij(t)≥ 0 对于t>0,τ >0有切尔曼-柯尔莫哥洛夫方程
1
) ( ) ( )
(
r
rj ir
ij t p t p
p
它是马尔科夫过程研究的基础。
[遍历性定理] 任何时间连续，状态有限(E1,，En)的马尔科夫过程，如果存在一个t0， 使得对于任何的i,r,pir(t0)>0,那末极限
j
t pij t p
( )
lim (0≤ j, i≤ n) 存在并且与i无关。
[柯尔莫哥洛夫的前进和后退方程] 如果只有有限个状态的马尔科夫过程满足
i j
j t i
pij ij
t 1,
, ) 0
(
lim0
就称它是随机连续的马尔科夫过程。
对状态有限的随机连续的马尔科夫过程，有柯尔莫哥洛夫的前进和后退方程：
n
j
jk ij
ik p t q
t t p
1
) d (
) (
d (前进方程)
n
j
jk ij
ik q t p
t t q
1
) d (
) (
d (后退方程) 其中
t
t
q pij ij
ij t
) lim (
0
4、扩散过程
[扩散过程的定义] 状态连续的马尔科夫过程{(t)，0≤ t<∞ }，如果它的条件
分布函数F(t,x;τ ,y)对任何的ε >0及t1<t<t2，t1→t，t2→t，关于x一致地成立下列三个关系：
（i） d F(t,x; ,y) o(t2 t1)
x
y y
（ii） (y x)d F(t,x; ,y) a(t,x)(t2 t1) o(t2 t1)
x
y y
（iii） (y x)2d F(t,x; ,y) b(t,x)(t2 t1) o(t2 t1)
x
y y
就称马尔科夫过程{(t)，0≤ t<∞ }为扩散过程。
[柯尔莫哥洛夫第一方程] 如果扩散过程的条件分布函数F(t,x;τ ,y)的偏导数
2
2 ( , ; , )
), ,
; , (
x y x t F x
y x t F
存在，且对任何t, x, y和τ (τ >t)连续，那末函数F(t,x;τ ,y)满足柯尔莫哥洛夫第一方程
2
2 ( , ; , )
2 ) , ( ) ,
; , ) ( , ) (
,
; , (
x y x t F x t b x
y x t x F t t a
y x t F
[柯尔莫哥洛夫第二方程] 如果扩散过程的条件分布函数F(t,x;τ ,y)具有分布密度f(t,x;
τ ,y),并且下面的各个偏导数
( , ; , ), [ ( , ) ( , ; , )], [ ( , ) ( , ; , )]
2 2
y x t f y y b
y x t f y y a y x t
f
存在且连续，那末f(t,x;τ ,y)满足柯尔莫哥洛夫第二方程
[ ( , ) ( , ; , )]
2 )] 1 ,
; , ( ) , ( ) [
,
; , (
2 2
y x t f y y b
y x t f y y a y
x t
f
三、平稳随机过程
[弱平稳过程] 如果随机过程{(t),tT}满足
) ( ] ) ( ][
) ( [
) (
) (
s t R m s m t E
m m
t E
为常数
就称它是弱平稳过程(或广义的平稳过程)。
广义的平稳过程不一定是狭义的平稳过程；反过来，狭义的平稳过程也不一定是广义的 平稳过程，但是如果狭义平稳过程的二阶矩存在，那们那末它必是广义的平稳过程。
对于正态过程来说，广义平稳性和狭义平稳性是一致的。
在 理 论 研 究 中 ， 考 虑 复 值 随 机 过 程 常 常 更 加 方 便 。 所 谓 复 值 随 机 变 量是 指
=η +i,其中η , 都是随机变量；而复值随机过程就是(t)=η (t)+ i(t),其中η (t), (t)都是实值
随机过程。
复值随机变量=η +i的均值(或数学期望)定义为
E iE
E
两个复值随机变量1，2的相关矩定义为
)]
)(
[(1 E1 2 E2
E
复值随机过程{(t),tT}的广义平稳性，是指它满足
) ( ] ) ( ][
) ( [
) (
) (
_ __________
s t R m s m t E
m m
t E
为常数
下面考虑的都是复值的广义平稳过程。
[相关函数的谱分解] 如果函数R(τ )是某一均方连续平稳过程{(t), <t<}的相关 函数，那末
R()
eidF()其中F(λ )是有界不减函数，满足F()0,F()R(0),称为平稳过程{(t),<t<}的谱 函数(工程上称为频谱)。
如果F(λ )绝对连续，记F() f()，称 f()为谱密度(工程上称为频谱密度)，这时
R()
eidF()当{(t), <t<}是实值平稳过程时，相关函数R(τ )可以表示成 R()
c o sdF()或(当谱密度存在时)
R()
cosf1()d其中F1(λ )=2F(λ )+c(c为常数)， f1()F1()2f()。 特别，对复值平稳序列{n, n=0,±1,}有
R(k)
eikdF() (k=0,±1,) 其中谱函数F(λ )满足F()=0, F()=R(0) [遍历性定理]
1° 如果{(t),-∞ <t<∞ }是均方连续的平稳过程，那末
TT t t
t T
E ( )d
2 . 1 m . i . l )
(
的充分必要条件是：
T T TR
T ( )d 0
2
l i m1
2° 如果{n, n=0,±1,}是平稳序列，那末
1
0
.1 m . i . l ) (
n
j
n n j
t
E
的充分必要条件是：
1 ( ) 0 lim
1
0
n
n j R j
n
3° 如果{(t),-∞ <t<∞ }是均值为零的均方连续的平稳过程，又对取定的常数
>0,{(t)(t),t}也是均方连续的平稳过程，记其相关函数为R(u),那末
T T T t t t
t T t
E ( ) ( )d
2 . 1 m . i . l ] ) ( ) ( [
_ _ _ _ _ _ _ _ _
的充分必要条件是：
T T
T R u u
T ( )d 0
2 l i m1
4° 如果{n, n=0,±1,}是均值为零的平稳序列，又对取定的整数m, {nmn,n=0,1,}
也是平稳序列，记其相关函数为Rm(k),那末
1
0
.1 m . i . l
n
j
j m n j
n m
n n
E
的充分必要条件是：
1 ( ) 0 lim
1
0
n
j
n Rm j
n
遍历性定理表明，对于平稳过程，只要它满足定理的条件(在实际中它们是常常能够满足 的)，那末对样本空间的平均(如均值、相关矩等)可以用对时间的平均来代替，更具体地说，
只要用平稳过程在足够长时间的一次实现，就可以确定过程的均值和相关函数。这正是遍历 性定理在实用上重要的原因。
[平稳过程的谱展式] 如果{(t),-∞ <t<∞ }是均值为零的均方连续平稳过程，那末有 (t)
eitdZ()其中
T
T t i
T t t
it
Z e 1 ( )d
2 . 1 m . i . l )
(
满足 （i）EZ()=0
（ii）当区间(1,11)与(2,2 2)不相重叠时 E{[Z(1 1)Z(1)][Z(2 2)Z(2)]}0
(即Z()是具正交增量的过程)
（iii）EZ(2)Z(1)2 F(2)F(1) (F()是谱函数) Z()称为(t)的随机谱函数，(t)的积分表示式称为(t)的谱展式。
特别，如果(t)是实值均方连续平稳过程，那末有 (t)
0c o st d Z1()
0s i ntdZ2() 其中
TT T t t
t Z t
Z 1 s i n ( )d
. m . i . l ) ( Re 2 )
1(
T
T T t t
t Z t
Z 1 1 c o s ( )d
. m . i . l ) ( Im 2 )
2(
满足 （i）EZ1()=EZ2()=0,
（ii）当区间(1,11)与(2,2 2)不相重叠时
E{[Zj(11)Zj(1)][Zk(22)Zk(2)]}0 (j,k=1,2) （iii）E[Z1()Z1()]2 E[Z2()Z2()]2 F()F() (F()是谱函数)
如果{n, n=0,±1,}是均值为零的平稳序列，那末有
n
eindZ() 其中随机谱函数Z()是
n
n k
t i
n k
ik
Z e 1 ( )
2 . 1 m . i . l )
(
（≤ λ ≤ ）
它也满足类似于均方连续平稳过程的随机谱函数的性质（i）~(iii)。
