Элементы теории случайных процессов

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Московский государственный институт электроники и математики
(Технический университет)
В.А.Каштанов
ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Учебное пособие, предназначено для студентов, которые обучаются по
специальностям «Прикладная математика» и «Математические методы в
экономике»
Кафедра «Исследование операций»
Москва
2010 год
ВВЕДЕНИЕ
При подготовке специалистов по специальностям «Прикладная
математика» и «Математические методы в экономике» большое внимание
уделено методам построения и анализа стохастических моделей. Учебным
планом предусмотрено чтение объемных курсов «Теория вероятностей»,
«Математическая статистика», «Теория случайных процессов». Эти курсы
формируют математическую базу, позволяющую строить стохастические
модели процессов, протекающих в различных практических ситуациях.
Подготовку
завершают
специальные
курсы
«Теория
массового
обслуживания», «Математическая теория надежности», «Управляемые
полумарковские процессы в экономике».
Многие математические факты, на которых основываются специальные
курсы, разбросаны по различным монографиям, часть которых давно не
переиздавалась и в настоящее время является библиографической редкостью.
Они фактически современному читателю недоступны.
Настоящее учебное пособие призвано ликвидировать эту проблему,
облегчить доступ к этим математическим знаниям, сократить время освоения
этого материала. Это позволит читателю не обращаться к специальной
литературе и найти все необходимые математические факты в настоящей
работе.
В учебном пособии приводятся математические результаты и факты,
относящиеся
к
специальным
экспоненциальному
распределениям
распределению),
(в
процессам
частности,
восстановления,
Марковским процессам с непрерывным временем и дискретным множеством
состояний.
Излагается
общая
модель
управляемого
полумарковского
процесса с конечным множеством состояний, начиная с определений
управляемого полумарковского случайного процесса и постановки задачи
управления.
Излагаемый
материал
может
служить
основой
для
анализа
управляемых систем массового обслуживания, которые описывают процессы
2
функционирования широкого класса реальных экономических и технических
систем – систем связи (телефония), систем снабжения, экономических систем
(система офисов туристической фирмы, магазины, транспортные кассы и
т.п.), транспортные системы и т.д. и т.п. Этот перечень без труда можно
продолжить. Кроме этого излагаемая теория может быть применена к
анализу процесса управления состоянием технических систем на периоде их
эксплуатации
вне
зависимости
от
рассматриваемой системой.
3
конкретных
задач,
решаемых
ГЛАВА I.
ЭКСПОНЕНЦИАЛЬНОЕ РАСПРЕДЕЛЕНИЕ И ЕГО СВОЙСТВА
1.1. Определение экспоненциального распределения и его свойства
Среди
распределений,
полумарковских
процессов,
при
исследовании
процессов
массового
Марковских
и
и
технического
обслуживания, особое место занимает экспоненциальное распределение.
Случайная
 имеет экспоненциальное распределение
величина
F ( x)  P{ξ  x} с параметром >0, если
1  e λx , x  0,
F  x  
 0, x  0.
.
(1.1)
Экспоненциальное распределение имеет плотность
f ( x) 
dF ( x)  λe λx , x  0,

dx
 0, x  0.

(1.2)
k!
, k  0 (напомним, что по определению
λk
и имеет моменты Mξ   x k f ( x)dx 
k
0
0=1). В частности, для этого распределения справедливы равенства для
1
λ
математического ожидания Mξ  , для второго момента Mξ 2 
дисперсии Dξ  Mξ 2  ( Mξ )2 
σ  Mξ 2  ( Mξ ) 2 
1
λ2
2
, для
λ2
и для среднеквадратического отклонения
1
, которое для рассматриваемого распределения совпадает
λ
с математическим ожиданием.
Экспоненциальное распределение обладает рядом свойств, которые
присущи только ему.
Для
положительной
распределением
F(x),
случайной
F(0)=0,
величины
имеющим

плотность
с
произвольным
f(x),
введем
в
рассмотрение функцию
λ( x) 
f ( x)
,
1  F ( x)
4
(1.3)
при тех значениях переменной x0, для которых F(x)<1. В математической
теории надежности эта функция называется интенсивностью отказов.
Учитывая следующее из определения производной
f ( x) 
dF ( x)
dx
асимптотическое равенство P{x<x+}=F(x+)-F(x)=f(x)+o() при 0,
получаем
асимптотическое
P{x<x+x}=(x)+o()
равенство
для
условной
при 0 или lim
Δ 0
вероятности
P{x  ξ  x  Δ / ξ  x}
 λ( x) .
Δ
Очевидно, что для экспоненциального распределения функция (x) не зависит
от x, (x)=. Это следует непосредственно из определения (1.3).
С другой стороны дифференциальное уравнение
dF ( x)
 λ( x)[1  F ( x)]
dx
при (x)= имеет единственным решением с начальным условием F(0)=0
функцию
F(x)=1-e-x
распределение
при
является
x0.
Следовательно,
единственным
экспоненциальное
распределением,
у
которого
интенсивность отказов постоянна (не зависит от x).
Если случайная величина  имеет экспоненциальное распределение
(1.1) с параметром >0, то при t0 , x0 имеет место равенство
P{0  ξ  x  t / ξ  x}  P{x  ξ  x  t / ξ  x} 
P{x  ξ  x  t}
 1  e  λt ,
P{ξ  x}
(1.4)
то есть для экспоненциально распределенной случайной величины 
условное распределение случайной величины -x (1.4) совпадает с
безусловным распределением (1.1). Это свойство называется свойством
отсутствия последействия. Из (1.4) следует, что для экспоненциального
распределения F(x) справедливо равенство
1  F (t )  P{ξ  x  t / ξ  x} 
P{ξ  x  t} 1  F ( x  t )

P{ξ  x}
1  F ( x)
или
1-F(x+t)=[1-F(x)][1-F(t)]
Так
как
равенство
(1.5)
выполняется
(1.5)
только
для
семейства
экспоненциальных функций 1-F(x)=e-x, x0, 0<<, и констант, то можно
5
сделать вывод о том, что экспоненциальное распределение является
единственным
распределением,
обладающим
свойством
отсутствия
последействия.
1.2. Определение распределения Эрланга и его связь с
экспоненциальным распределением
Случайная величина  имеет распределение Эрланга порядка k>0 с
параметром >0, если
k 1

( λt ) m
 λt
, t  0,
1  e 
Fk  x   P{η  t}  
m 0 m !

0, t  0.

(1.6)
Распределение Fk(t) имеет плотность
f k (t )  Fk(t ) 
λ( λt )k 1  λt
e , t 0,
(k  1)!
что проверяется непосредственно дифференцированием функции (1.6), то
есть справедливо равенство при t>0, k>0
k 1
λ( λx) k 1  λx
( λt ) m
 λt
e
dx

1

e
.

0 (k  1)!
mo m !
t
Теперь
установим
связь
между
(1.7)
распределением
Эрланга
и
экспоненциальным распределением. Нетрудно видеть, что распределение
Эрланга
первого
порядка
(k=1)
совпадает
с
экспоненциальным
распределением.
Далее пусть задана последовательность {m, m>0} независимых
в
совокупности экспоненциально распределенных случайных величин с одним
k
и тем же параметром . Обозначим ηk   ξ m и покажем, что при любом k>0
m 1
случайная величина k распределена по закону Эрланга порядка k с
параметром , P{k<t}=Fk(t). Доказательство проведем, используя метод
математической индукции. Как отмечалось выше при k=1 утверждение
6
верно. Пусть оно верно при некотором k>1. Тогда получаем с учетом
равенства (1.7)
t
t
P{ηk 1  t}   P{ξ k 1  t  x} f k ( x)dx   [1  e  λ (t  x ) ]
0
 1 e
0
 λt
k 1
λ( λx) k 1  λx
e dx 
(k  1)!
( λt )
( λt )
 e λt
 Fk 1 (t ),

k!
mo m !
m
k
(1.8)
то есть утверждение верно при k+1.
Таким образом, доказано, что распределение Эрланга k-го порядка есть
распределение суммы k независимых в совокупности, экспоненциально
распределенных случайных величин с одним и тем же параметром .
В силу известных свойств моментов сумм независимых в совокупности
случайных величин при s=1,2 имеем
Mηk 
k
k (k  1)
k
k
, Mηk2 
, Dηk  Mηk2  ( Mηk ) 2  2 , σ k  Dηk 
.
2
λ
λ
λ
λ
7
1.3. Определение распределения Пуассона, его свойства и связь с
распределением Эрланга и экспоненциальным распределением
Случайная
величина
, принимающая значения из множества
E={0,1,2,...,n,...}, называется случайной величиной, распределенной по закону
Пуассона с параметром >0, если
P{ν  k} 
λk  λ
e ,k  0 .
k!
Таким образом, пуассоновское распределение это однопараметрическое
дискретное распределение (в отличие от непрерывных распределений
Эрланга и экспоненциального, имеющих плотности). Для математического
ожидания, второго момента и дисперсии этого распределения имеют место
равенства

Mν   k
k 0

λk  λ
λk
e  λ, Mν 2   k 2 e λ  λ2  λ, Dν  λ.
k!
k!
k 0
Отметим одно важное свойство распределения Пуассона - сумма n,
1<n<,
независимых
случайных величин, распределенных по
закону
Пуассона, распределена по закону Пуассона с параметром, равным сумме
параметров распределений слагаемых. Очевидно, что достаточно доказать
это утверждение при n=2. Пусть k, k=1,2 две независимые случайные
величины, распределенные по закону Пуассона с параметрами  и 
соответственно. Тогда по формуле полной вероятности имеем
λk  λ μ nk  μ ( λ  μ)n  ( λ μ )
.
e
e 
e
(n  k )!
n!
k 0 k !
n
P{ν1  ν2  k}  
Теперь
установим
связь
между
распределением
(1.9)
Пуассона
и
распределением Эрланга. Обозначим через Ak(t)={k<t}, k>0, событие,
состоящее в том, что на интервале (0,t) уложится по крайней мере k
интервалов,
длины
которых
s,
s=1,2,…,
являются
независимыми
случайными величинами, распределенными по экспоненциальному закону с
8
k
одинаковыми параметрами. Так как по определению ηk   ξ m , то в ранее
m 1
принятых обозначениях имеем равенство P{Ak(t)}=Fk(t). В силу того, что
случайные величины k положительны, между событиями Ak(t)={k<t}, k>0
справедливы соотношения Ak(t)Ak+1(t), то есть выполнение события Ak+1(t)
влечет за собой выполнение события Ak(t). Тогда
Ak(t)= Ak+1(t){k<t,k+1t},
причем события, стоящие в правой части этого равенства несовместны.
Следовательно, с учетом определения (1.6) получаем
P{ηk  t , ηk 1  t}  P{ Ak (t )}  P{ Ak 1 (t )}  Fk (t )  Fk 1 (t ) 
( λt )k  λt
e . (1.10)
k!
Событие {k<t,k+1t} означает, что на интервале (0,t) уложится ровно k
интервалов случайной длины, распределенной по экспоненциальному закону.
Равенство (1.10) доказывает, что число независимых интервалов случайной
длины, распределенной по экспоненциальному закону с одним и тем же
параметром , которые укладываются в интервал (0,t), распределены по
закону Пуассона с параметром t.
1.4. Распределение некоторых специальных функций от набора
независимых экспоненциально распределенных случайных величин
При исследовании марковских и полумарковских процессов возникает
необходимость
определять
распределения
различных
функций
от
независимых экспоненциально распределенных случайных величин.
Пусть
{k,
0kn}
конечная
последовательность
независимых
случайных величин, каждая из которых распределена по экспоненциальному
закону с параметром k, 0kn. Вычислим вероятность совместного
осуществления двух событий - минимум этих случайных величин совпадает
с m и этот минимум меньше t, t>0. По формуле полной вероятности имеем
t
P{ξ k  min 1 m n ξ m  t}   λk e  Λn x dx 
0
9
λk
(1  e  Λnt ) ,
Λn
(1.11)
n
где обозначено Λ n   λm .
m 1
При t получаем
P{ξ k  min 1 m n ξ m } 
λk
.
Λn
(1.12)
В силу несовместности событий {k=min0mnm<t} для 0kn и любом
t>0 получаем
n
P{min 1 m n ξ m  t}   P{ξ k  min 1 m n ξ m  t}  (1  e  Λnt ) ,
(1.13)
k 1
то есть минимум независимых экспоненциально распределенных случайных
величин распределен так же по экспоненциальному закону с параметром
n
Λ n   λm , равным сумме параметров распределений слагаемых.
m 1
10
ГЛАВА II. ПРОЦЕССЫ ВОССТАНОВЛЕНИЯ
2.1. Определение процесса восстановления
Математическая модель, которая в математической литературе [1,2,4,5]
получила название процесс восстановления, является частным случаем
случайного процесса (случайного потока однородных событий) (t), для
которого область значений есть неотрицательные целые числа E={0,1,...,n,...},
(t)E,
и
все
траектории
являются
неубывающими
ступенчатыми
функциями. Такой случайный процесс можно задать, задавая совместное
распределение случайной последовательности {tn=tn(), 1n<}, которая
определяет моменты скачков, номер n задает номер скачка случайного
процесса (t) [5, стр.27]. Отметим, что это распределение может быть таково,
что с положительной вероятностью совпадают моменты tn() при различных
n. Следовательно, не исключается случай, когда траектории случайного
процесса (t) имеют скачки, большие единицы (группа единичных скачков), а
нумерация скачка в группе не является существенной.
Итак, определим случайный процесс (t) как число скачков,
произошедших до момента t (при таком определении траектории процесса
непрерывны слева). Очевидно, что процесс (t) можно задать, задавая
совместное распределение случайной последовательности
{n=tn-tn-1, t0=0, 1n<}
интервалов между моментами соседних скачков. При этом, учитывая
предыдущее замечание о величине скачков, не исключается случай, когда с
положительной вероятностью случайная величина n равна нулю, P{n=0}>0,
то есть функция распределения случайной величины n может иметь
положительный скачок в нуле.
Теперь перейдем к частным определениям.
Ступенчатый
случайный
процесс
(t),
определяемый
последовательностью {n=tn-tn-1, t0=0, 1n<}, называется потоком с
11
ограниченным последействием, если случайные величины {n, 1n<}
взаимно независимы.
Из этого определения следует, что в момент скачка случайного
процесса (t), если известен номер скачка, будущее поведение этого процесса
в вероятностном смысле не зависит от прошлой траектории. Из определения
следует также, что, для того чтобы задать поток с ограниченным
последействием,
достаточно
задать
последовательность
функций
распределения Fk(t)=P{k<t}, k>0, для которых Fk(t)=0 при t0 (в силу
неотрицательности интервалов k).
Поток с ограниченным последействием, для которого при t>0
Fk(t)=F(t), k=2,3,..., F1(t) F(t)
(2.1)
называется рекуррентным потоком с запаздыванием или процессом
восстановления с запаздыванием. Из определения процесса восстановления с
запаздыванием следует, что он задается парой функций распределения
{F1(t),F(t)} - распределением интервала до первого скачка и распределением
всех последующих интервалов.
Поток с ограниченным последействием, для которого Fk(t)=F(t),
k=1,2,…..
, называется рекуррентным потоком или простым процессом
восстановления. Таким образом, часто простой процесс восстановления
можно определить как последовательность независимых положительных
одинаково распределенных случайных величин, задаваемых распределением
F(t), F(0)=0.
Теперь можно пояснить принятую терминологию. Предположим, что
имеется
набор
идентичных
элементов,
времена
жизни
которых
k
распределены по одному и тому же закону F(t). В момент времени t0=0
включается в работу первый элемент, а в момент его отказа t1=1
он
мгновенно заменяется (восстанавливается) на новый идентичный элемент.
Далее новый элемент функционирует до календарного момента t2=1+2 –
момента отказа второго элемента, затем мгновенная замена на следующий
12
элемент
и
так
далее.
(восстановлений),
Таким
которая
образом,
называется
получаем
процессом
модель
замен
восстановления,
а
последовательность {tn=tn(), 1n<} называется последовательностью
моментов восстановления.
Используя выше приведенную терминологию, далее будем исследовать
случайные процессы (t) и 1(t), определяемые как число восстановлений,
произошедших до момента t, t0, простого процесса восстановления и
процесса восстановления с запаздыванием соответственно.
2.2. Функция восстановления и ее свойства
Обозначим для простого процесса восстановления через H(t)=M(t)
математическое ожидание числа восстановлений, произошедших до момента
t, t0. Это математическое ожидание будем далее называть функцией
восстановления. Тогда по определению математического ожидания имеем

H (t )  Mξ (t )   kP{ξ (t )  k}, H (0)  0.
(2.2)
k 1
Очевидно,
все
траектории
процесса
восстановления
являются
неубывающими функциями, поэтому неубывающей будет и функция
восстановления, H (τ1 )  H (τ2 ), τ1  τ2 .
Обозначим через Bk(t)={tk<t}, k>0, событие, состоящее в том, что на
интервале (0,t) произойдет, по крайней мере, k восстановлений. Так как по
k
определению tk   ξ m
и в силу того, что случайные величины k
m 1
положительны,
между
событиями
Bk(t)={tk<t},
k>0
справедливы
соотношения Bk(t)Bk+1(t), то есть выполнение события Bk+1(t) влечет за
собой выполнение события Bk(t). Тогда
Bk (t )  Bk 1 (t ) {tk  t  tk 1},
причем события, стоящие в правой части этого равенства, несовместны.
Следовательно, получаем
P{tk<t,tk+1t}= P{tk<t}-P{tk+1<t}=P{(t)=k},
13
(2.3)
так как событие {tk<t,tk+1t} означает, что на интервале (0,t) произойдет ровно
k, k0 восстановлений, то есть {tk<t,tk+1t}={(t)=k} .
Докажем
лемму
о
представлении
и
существовании
функции
восстановления.
ЛЕММА 2.1. Если для распределения F(t), определяющего простой
процесс восстановления, существует x>0 такое, что F(x)<1, то для любого
конечного t, 0<t<, функция восстановления конечна, H(t)<, и

H (t )   F ( k ) (t ) ,
(2.4)
k 1
где через F(k)(t) обозначена k-кратная свертка распределения F(t), F(1)(t)=F(t).
ДОКАЗАТЕЛЬСТВО. По определению F(k)(t)=P{tk<t}. Следовательно,
подставляя (2.3) в (2.2) и учитывая, что сумма ряда есть предел частных
сумм, получаем



k 1
k 1
k 1
H (t )   kP{ξ (t )  k}   k[ F ( k ) (t ) F ( k 1) (t )]  F ( k ) (t )  lim n nF ( n 1) (t ) .
(2.5)
Для любых t>0, x>0 найдется целое k, k>0, для которого (k-1)x<t kx.
Имеет место следующее очевидное соотношение между событиями
{tk  t}  {tk  kx}  {ξ1  x, ξ2  x,..., ξk  x}  {min 1nk ξn  x} ,
(2.6)
k
поскольку tk   ξ m и случайные величины j неотрицательны. Из последнего
m 1
соотношения для событий в силу независимости случайных величин j и
неравенства F(x)<1 получаем оценку для свертки
F(k)(t)1-[1-F(x)]k<1, k>0.
(2.7)
t
x
Заметим, что в (2.7) величины x, t и k связаны соотношением k  [ ]  1,
где символом [] обозначена целая часть числа . По определению целой
части справедливо неравенство []. Причем отметим, что при t>0, x>0
параметр k>0.
Далее имеем. Случайные величины j неотрицательны, поэтому
F(n)(t)F(m)(t) при n>m.
14
Последнее неравенство вытекает из следующего утверждения (более
подробно см. доказательство леммы 2.3):
если при любом t>0 имеет место неравенство для двух распределений
положительных случайных величин F1 (t )  F2 (t ) , то F1( 2 ) (t )  F2( 2 ) (t ) , так как
t
t
t
t
 F ( t  y )dF ( y )  F ( t  y )dF ( y )   F ( t  y )dF ( y )   F ( t  y )dF ( y ) .
1
1
2
0
1
0
1
2
0
При m>0 обозначим ζ m 
2
2
0
mk
n
ξi и β (n, k )  [ ] целую часть отношения,
k
i  ( m 1 ) k  1

k>0. Из этого определения следует неравенство tn 1 
β ( n ,k )

m 1
ζ m , так как
kβ (n, k )  n .
Тогда справедлива цепочка неравенств
β ( n,k )
β ( n,k )
m 1
m 1
F ( n1) (t )  P{  ζ m  t}  P{
{ζ m  t}}  [ F ( k ) (t )]β ( n,k )  {1  [1  F ( x)]k }β ( n,k ) . (2.8)
При выводе (2.8) использованы следующие свойства случайных
величин:
 Случайные величины j неотрицательны, поэтому F(n)(t)F(m)(t)
при n>m;

Случайные величины т независимы, одинаково распределены,
P{т<t}=F(k)(t);

Для
случайных
β ( n ,k )
β ( n,k )
m 1
m 1
{  ζ m  t} 
величин
т
справедливы
неравенства,
{ζ m  t} .
Тогда из (2.8) и неравенства n(n,k)+1 (по определению целой части
числа) получаем оценку
nF(n+1)(t)[(n,k)+1][1-[1-F(x)] k](n,k).
(2.9)
Очевидно, (n,k) при n. Следовательно, неравенства (2.8) и (2.9)
доказывают лемму, так как ряд (2.4) сходится со скоростью геометрической
прогрессии со знаменателем q=1-[1-F(x)]k<1, и, следовательно, предельное
соотношение
limnnF(n+1)(t)=0
выполняется
15
(показательная
функция
стремится к нулю быстрее, чем степенная к бесконечности). Отметим одно
важное обстоятельство - поскольку оценка (2.8) не зависит от t, то ряд (2.4)
сходится на любом конечном интервале равномерно. Лемма доказана.*
Итак, условия существования функции восстановления связаны с
поведением функции распределения F(t) интервалов между соседними
моментами восстановления - оно не должно иметь единичного скачка в нуле,
то есть исключается случай распределения, сосредоточенного в нуле.
Если не выполняется это ограничение, то можно утверждать, что
процесс не развивается во времени. В самом деле, тогда при любом
положительном t и k0 имеем P{(t)=k}=0. Следовательно, все моменты
восстановления
совпадают с нулем, и процесс восстановления не
развивается во времени. В дальнейшем специально это условие оговаривать
не будем, считая его выполненным.
Из
соотношения
(2.3)

 P{ξ (t )  k}  1
следует
при
любом
k 0
положительном t, поскольку lim k  F ( k ) (t )  0 (здесь считаем F(0)(t)=1 при t>0,
поскольку t0=0). Тогда равенство

limt  P{ξ (t )  }  limt   P{ξ (t )  k}  1
k 0
понимается как следующее свойство процесса восстановления: на любом
конечном интервале времени с вероятностью единица происходит конечное
число восстановлений.
Теперь перейдем к анализу процесса восстановления с запаздыванием.
Обозначим для процесса восстановления с запаздыванием, определяемого
парой распределений {F1(t),F(t)}, через H1(t)=M1(t) функцию восстановления
- математическое ожидание числа восстановлений, произошедших до
момента t, t0. Тогда для нового процесса восстановления в силе остаются
соотношения (2.2) и (2.3). Условия леммы относительно функции F(t)
сохраняются, утверждение (2.4) сохраняется.
16
Чтобы отделить рассматриваемый случай от предыдущего, обозначим
k
Φ ( k ) (t )  P{ ξ m  t} . Тогда равенство (2.4) принимает вид
m 1

H 1 (t )   Φ ( k ) (t ), Φ (1) (t )  F1 (t ) .
(2.10)
k 1
Соотношение (2.6) не меняется, только изменяется распределение
случайной величины 1, и поэтому изменяется оценка для функции Φ( k ) (t )
Φ( k ) (t )  1  [1  F1 ( x)][1  F ( x)]k 1 , k  0.
Изменение этой оценки не влияет на сходимость ряда (2.10) и на
окончательные выводы. Таким образом, и для существования функции
восстановления процесса восстановления с запаздыванием необходимо
исключить случай единичного скачка функции распределения F(t) в нуле.
По определению дифференциал функции есть главная часть ее
приращения. Для функции распределения F(x)=P{<x} случайной величины
 он с точностью до o() совпадает с вероятностью
P{x<x+}=F(x+)-F(x)=dF(x)+o() при 0.
Введем следующие обозначения:

A(x,) - событие, состоящее в том, что в интервале [x,x+)
произошло восстановление,

Ak ( x, Δ)  {x  tk  x  Δ}
- событие, состоящее в том, что в
интервале [x,x+) произошло восстановление с номером n,
 Bn(x,) - событие, состоящее в том, что в интервале [x,x+)
произошло восстановление с номером, меньшим n+1.
Очевидны соотношения
Bn ( x, Δ) 
n
Ak ( x, Δ), A( x, Δ)  lim n Bn ( x, Δ) 
k 1

Ak ( x, Δ),
k 1
P{Ak(x,)}=P{xtk<x+}=F(k)(x+)-F(k)(x)=dF(k)(x)+ o().
Следовательно,


k 1
k 1
dH ( x)  o(Δ)  H ( x  Δ)  H ( x)   [ F ( k ) ( x  Δ) F ( k ) ( x)]   P{ Ak ( x, Δ)} . (2.11)
17
Если использовать равенство (2.11), то дифференциалу функции
восстановления можно дать новую интересную интерпретацию.
Заметим,
Ak ( x, Δ)
что
при
справедливо
k<j
включение
событий
Ak 1 ( x, Δ) . Это соотношение выполняется, так как,
Aj ( x, Δ)  Ak ( x, Δ)
если в интервале [x,x+) произошло k-ое и j-ое восстановление, то (k+1)-ое
восстановление также произошло в этом интервале. Отсюда
xΔ
P{ Ak ( x, Δ) Aj ( x, Δ)}  P{ Ak ( x, Δ) Ak 1 ( x, Δ)} 

F ( x  Δ  y )dF ( k ) ( y )  F (Δ) P{ Ak ( x, Δ)}.
x
Так как Bn ( x, Δ) 
n
Ak ( x, Δ) , получаем двустороннюю оценку, которую
k 1
можем записать с учетом двусторонней оценки для вероятности суммы
событий (математическое приложение 1),
n
 P{Ak ( x, Δ)} 
k 1

1 k  j  n
P{ Ak ( x,Δ) Aj ( x,Δ)}  P{Bn ( x,Δ)}  P{
n
k 1
n
Ak ( x,Δ)}   P{ Ak ( x,Δ)}.
k 1
Тогда
n
n
k 1
k 1
[1  F (Δ)] P{ Ak ( x, Δ)}  P{Bn ( x, Δ)}   P{ Ak ( x, Δ)}.
При n получаем оценку
[1-F()][H(x+)-H(x)] limn P{Bn(x,)}=P{A(x,)} [H(x+)-H(x)]. (2.12)
Вывод. Если функция распределения F(x) непрерывна в нуле, то
приращение функции восстановления в точке x или ее дифференциал можно
интерпретировать как вероятность иметь восстановление (неважно какое
по счету) в некоторой бесконечно малой окрестности точки x.
2.3. Интегральные уравнения восстановления
Теперь воспользуемся равенствами (2.4) и (2.10) для вывода
интегральных уравнений восстановления.
С этой целью напомним понятие k-кратной свертки, которая
определяется рекуррентно,
t
F (t )  F ( x), F
(1)
(n)
(t )   F
( n 1 )
t
(t  x) dF ( x)   F (t  x) dF ( n 1) ( x), n  2.
0
0
18
(2.13)
t
Φ (t )  F1 ( x), Φ (t )   Φ
(n)
( 1)
( n 1)
t
(t  x) dF ( x)   F (t  x) dΦ ( n 1) ( x), n  2.
0
(2.14)
0
Кроме равенств (2.14), для сверток Φ( n ) (t ) можно предложить другую
форму записи через свертки F(n)(t)
t
Φ (t )   F
(n)
( n 1 )
t
(t  x)dF1 ( x)   F1 (t  x)dF ( n 1) ( x), n  2 .
0
(2.15)
0
Коль скоро, ряды (2.4) и (2.10) сходятся равномерно на любом конечном
интервале, то можно переставлять порядок суммирования и интегрирования.
Тогда, суммируя равенства (2.13), получаем
t

t

0
n2
H (t )  F (t )    F ( n 1) (t  x)dF ( x)  F (t )   F (t  x )d ( F ( n 1) ( x )) .
0 n2

В силу того, что H (t )   F ( n 1) (t ) , получаем два интегральных уравнения
n2
для функции восстановления простого процесса восстановления
t
t
0
0
H (t )  F (t )   H (t  x)dF ( x), H (t )  F (t )   F (t  x) dH ( x).
(2.16)
Нетрудно заметить, что интегрированием по частям одно уравнение
можно получить из другого.
Суммируя равенства (2.14), получаем два интегральных уравнения для
функции восстановления процесса восстановления с запаздыванием
t
t
H 1 (t )  F1 (t )   H 1 (t  x)dF ( x), H 1 (t )  F1 (t )   F (t  x)dH 1 ( x).
0
Наконец,
суммируя
(2.17)
0
равенства
(2.15),
получаем
соотношения,
связывающие функции восстановления H1(t) и H(t),
t
t
0
0
H 1 (t )  F1 (t )   H (t  x)dF1 ( x), H 1 (t )  F1 (t )   F1 (t  x)dH ( x).
(2.18)
Решения уравнений восстановления можно выписать, используя
преобразование

H * ( s )   e  st dH (t ) ,
Лапласа-Стилтьеса
Res>0.
Известно
0
(математическое приложение 2), что преобразование Лапласа-Стилтьеса
19
интеграла свертки равно произведению преобразований Лапласа-Стилтьеса.
Поэтому из (2.16) получаем
H*(s)=F*(s)+ H*(s)F*(s),
H * ( s) 
F * ( s)
.
1  F * ( s)
(2.19)
Аналогично из (2.17) получаем для процесса восстановления с
запаздыванием
H 1* ( s) 
F1* ( s)
.
1  F * ( s)
(2.20)
Формулы (2.19) и (2.20) используются для определения функций H(t) и
H1(t), для чего надо обратить преобразования H*(s) и H1*(s), то есть найти
такие функции H(t) и H1(t), у которых заданные преобразования H*(s) и
H1*(s). Так как существует взаимно однозначное соответствие между
функциями и их преобразованиям Лапласа-Стилтьеса, то найденные H(t) и
H1(t)
будут
единственными
решениями
интегральных
уравнений
восстановления.
2.4. Плотность восстановления
Если при t>0 у функции восстановления существует производная
H’(t)=h(t), то ее называют плотностью восстановления. Из представлений
(2.4) и (2.10) следует, что плотность восстановления существует тогда и
только тогда, когда существует
плотность распределений F(t)=f(t) и
F1(t)=f1(t) при t>0. В силу того, что ряд сходится равномерно на любом
конечном интервале, его можно почленно дифференцировать. Тогда из (2.4)
получаем

h(t )   f ( k ) (t ) ,
k 1
где через f(k)(t) обозначена k-кратная свертка плотности f(t).
20
Учитывая оценки (2.12) и равенство dH(t)=h(t)dt для дифференциалов,
получаем, что функция h(t)dt есть вероятность появления восстановления в
бесконечно малой окрестности точки t.
Не представляет труда получить уравнения восстановления для
плотностей и их решения в терминах преобразования Лапласа-Стилтьеса.
Приведем эти соотношения
t
t
0
0
h(t )  f (t )   h(t  x) f ( x)dx, h1 (t )  f 1 (t )   h1 (t  x ) f ( x )dx ,
h* (s) 
(2.21)
f1* ( s)
f * ( s)
*
,
h
(
s
)

.
1
1  f * ( s)
1  f * ( s)
2.5. Асимптотическое поведение функции восстановления
(элементарная теорема восстановления)
Теперь
исследуем
асимптотическое
поведение
функции
восстановления при t.
ТЕОРЕМА 2.1. Для простого процесса восстановления при t имеет
место следующее асимптотическое разложение
t
Mξ 2
H (t ) 

 1  o(1) ,
Mξ 2(Mξ )2
(2.22)
если существует математическое ожидание и второй момент.
ДОКАЗАТЕЛЬСТВО. При доказательстве используется тауберова
теорема, формулировка которой приведена в математическом приложении 3.
Для того чтобы воспользоваться этой теоремой, необходимо построить
разложение функции H*(s) при s0. В рассматриваемом случае


0
0
F * ( s )   e  sx dF ( x)   [1  sx 
H * ( s) 
( sx) 2
s2
 o( s 2 )]dF ( x)  1  sMξ  Mξ 2  o( s 2 ),
2
2
F * ( s)
1
Mξ 2  2( Mξ )2
L( s 1 )



o
(
1
)

,
1  F * (s) sMξ
2( Mξ )2
s
где обозначены
L(t ) 
1 σ 2  μ2

 o(t 1 ), t   ,
μ
2μ 2t
21
(2.23)
= M, 2=M2-(M)2.
Далее необходимо проверить, является ли функция L(t) медленно
меняющейся на бесконечности, то есть имеет ли место равенство
limt 
L( xt )
1
L(t )
при любом положительном x. Последнее равенство для функции (2.23)
очевидно. Таким образом, все условия тауберовой теоремы выполняются.
Следовательно, при t
H (t )  tL(t ) 
t
Mξ 2

 1  o(1) ,
Mξ 2( Mξ )2
что и доказывает утверждение теоремы.*
Доказанную
теорему
называют
элементарной
восстановления и дают ее в форме следующего утверждения limt 
теоремой
H (t )
1
.

t
Mξ
Сделаем два замечания к доказанной теореме.
Замечание 1. Почти дословное повторение доказательства для функции
восстановления H1(t) дает следующее асимптотическое разложение при t
H1 (t ) 
Mξ 2  2(Mξ1 )(Mξ )
t

 o(1) .
Mξ
2( Mξ )2
Из последнего равенства можно заключить, что главный член
разложения не зависит от распределения F1(t). Последнее разложение будет
получено также ниже с использованием узловой теоремы восстановления.
Замечание 2. Для плотностей восстановления очевидны равенства
limt  h(t )  limt  h1 (t ) 
1
.
Mξ
2.6. Обрывающиеся процессы восстановления
До сих пор ограничениями были:
 отсутствие у функции распределения F(t) единичного скачка в нуле
для существования функции восстановления;
22
 существование моментов для
справедливости асимптотического
разложения этой функции.
При этих условиях процесс восстановления будет развиваться во
времени, за конечное время произойдет конечное число восстановлений (не
будет бесконечных накоплений), а за бесконечное время произойдет
бесконечное число восстановлений, то есть при t с вероятностью единица
(t).
Такая ситуация имеет место, когда распределение, определяющее
процесс
восстановления,
является
собственным,
то
есть
P{<}=limtF(t)=F()=1 (условие, необходимое для существования
моментов).
Другая картина возникает в случае, когда распределение F(t) является
несобственным,
F()<1,
P{=}=1-F()>0.
Тогда
с
положительной
вероятностью 1-F()>0 процесс восстановления может оборваться на какомто шаге, то есть время до следующего восстановления будет равно
бесконечности.
Процесс восстановления, у которого распределение интервалов между
соседними моментами восстановления является несобственным, называется
обрывающимся процессом восстановления.
Прежде чем формулировать теорему о предельном поведении
обрывающегося процесса восстановления, докажем лемму о предельном
поведении интегралов свертки.
ЛЕММА 2.2. Если функции А(x) и В(x) при x>0 положительные
неубывающие и равномерно ограниченные, то
t
limt   B(t  x)dA( x)  B()[ A()  A(0)], A()  limt  A(t ), B()  limt  B(t ).
0
ДОКАЗАТЕЛЬСТВО. В силу условий теоремы для любого 1>0
найдется такое t1(1)>0, что при t>t1(1)
23
t
t
 B(t  x)dA( x)  B()[ A()  A( 2 )]  ε
1
.
t
2
Для любого 2>0 найдется такое t2(2)>0, что при t>t2(2) и 0  x 
t
2
0  B()  B(t  x)  ε2 .
Тогда при t>max[t1(1), t2(2)] имеем оценку
t
 B(t  x)dA( x)  B()[ A()  A(0)] 
0
t
2
t
t
  [ B(t  x)  B()]dA( x)   B(t  x)dA( x) B()[ A( )  A()]  ε2 [ A()  A(0)]  2ε1 ,
2
t
0
2
что и доказывает утверждение леммы. *
ТЕОРЕМА
2.2.
Для
обрывающегося
процесса
восстановления,
начинающегося в момент t=0, справедливы следующие утверждения:
1. процесс оборвется с вероятностью единица или с вероятностью единица
за бесконечное время произойдет конечное число восстановлений, то есть

 lim
k 0
t 
P{ξ (t )  k}  1 ;
(2.24)
2. функция восстановления ограничена на расширенной полупрямой [0, ] и
limt  H (t ) 
F ( )
;
1  F ( )
(2.25)
3. момент обрыва η  max k 0 tk , t0  0, имеет собственное распределение
P{η  t}  (1  F ())( H (t )  1) .
ДОКАЗАТЕЛЬСТВО.
Для
(2.26)
несобственного
распределения
непосредственный переход к пределу при t→∞ в интеграле свертки дает
F(k)()=[F()]k<1, k>0, и F(0)()<1. Доказательство этого факта легко
провести по индукции, используя лемму 2.2. Функции распределения
удовлетворяют
условиям
леммы.
Поэтому
F ( 2 ) ()  [ F ()]2 .
Если
F ( k ) ()  [ F ()]k , k  2 , то из утверждения леммы следует F ( k 1) ()  [ F ()]k 1.
Тогда из (2.3) получаем
P{()=k}=limt P{(t)=k}=limt [F(k)(t)-F(k+1)(t)]=(F())k[1-F()]
24
(2.27)
и, следовательно, справедливо (2.24).
Для доказательства (2.25) воспользуемся равенством (2.4)




k 1
k 1
k 1
k 1
limt  H (t )  limt   F ( k ) (t )  limt  F ( k ) (t )  F ( k ) ()  F k () 
F ( )
,
1  F ( )
причем перемена порядка суммирования и перехода к пределу законна,
поскольку ряд (2.4) сходится равномерно при 0t<.
Равенство (2.27) показывает, что число слагаемых m до обрыва
процесса восстановления имеет геометрическое распределение. Тогда по
формуле полной вероятности получаем

P{η  t}  P{maxk 0tk  t}   P{ξ ()  m}P{tm  t / ξ ()  m} 
m 0

  F ( m ) (t )[1  F ()]  [1  F ()][ H (t )  1].
m 0
При вычислении условной вероятности P{tm  t / ξ ()  m} , m  1 заметим, что
справедливо равенство событий
{ξ ()  m}  {tm  , tm1  }  {tm  , ξm1  }.
Поэтому в силу независимости случайных величин ξm+1 и tm имеем
P{tm  t / ξ ()  m}  P{tm  t / tm  , ξ m 1  } 
 P{tm  t / tm  } 
P{tm  t , tm  } P{tm  t}
F ( k ) (t )


.
P{tm  }
P{tm  } ( F ()) k
Таким образом, все утверждения теоремы доказаны. *
СЛЕДСТВИЕ 2.1. Если неубывающая функция В(x) имеет предел при
x, B()=limxB(x) и H(x) функция восстановления обрывающегося
процесса восстановления, то
t
limt   B (t  x)dH ( x) 
0
B ( ) F ( )
.
1  F ( )
ДОКАЗАТЕЛЬСТВО. Доказательство непосредственно вытекает из
равенства (2.25) и утверждения леммы 2.2.*
25
2.7. Узловая теорема восстановления
При решении ряда практических и теоретических задач возникает
необходимость перехода к пределу в интеграле свертки тогда, когда
подынтегральные функции не являются ограниченными функциями на
бесконечности. В частности, в теории восстановления возникают интегралы
вида
t
 Q(t  x)dH ( x) .
(2.28)
0
Если процесс восстановления не является обрывающимся, т.е.
распределение F(x) собственное, F()=1, и существует математическое
ожидание M,, то функция восстановления H(t) не ограничена на
бесконечности, и в соответствии с элементарной теоремой восстановления в
бесконечности
она растет как
линейная
функция. В этом
случае
непосредственно воспользоваться леммой 2.2, приведенной в предыдущем
разделе, нельзя. В настоящем разделе приведем без доказательства две
теоремы - теорему Блекуэлла и узловую теорему восстановления,
ликвидирующие этот пробел. Доказательства можно найти в [6].
Прежде чем переходить к формулировке теорем дадим определение
арифметического распределения.
ОПРЕДЕЛЕНИЕ 2.1. Дискретное распределение случайной величины  ,
определяемое последовательностью значений x1 , x2 ,..., xn ,... и вероятностями
pk  P{ξ  xk }  0 , k>0, называется арифметическим (решетчатым), если
существует такое С и такое h>0, что для любого
xn
справедливо
представление xn=C+knh, где kn целое число.
Распределения, не обладающие этими свойствами, не являются
арифметическими. В частности, непрерывное распределение не является
арифметическим. В дальнейшем такие распределения будем называть
нерешетчатыми.
26
Смысл арифметического (решетчатого) распределения заключается в
том, что для такого распределения можно выбрать новое начало координат
(выбор константы С) и новый масштаб (выбор константы h), при которых
значения, принимаемые случайной величиной, будут целыми.
ТЕОРЕМА БЛЕКУЭЛЛА. Если распределение F(t)=P{<t} является
нерешетчатым, то при любом фиксированном h>0
limt  [ H (t  h)  H (t )] 
УЗЛОВАЯ
ТЕОРЕМА
h
.
Mξ
(2.29)
ВОССТАНОВЛЕНИЯ.
Пусть
Q(x)
неотрицательная невозрастающая интегрируемая функция, существует

интеграл  Q (t )dt   и распределение F(t)=P{<t} нерешетчатое, тогда
0

t
limt   Q (t  x )dH ( x ) 
 Q(t )dt
0
0
Mξ
.
(2.30)
Здесь же докажем эквивалентность сформулированных теорем.
Если положить Q( x)  1, 0  x  h; Q( x)  0, x  h , то очевидно из (2.30)
следует (2.29).
Далее предположим, что справедливо предельное соотношение (2.29).
Тогда разность H(t+h)-H(t)<N(h)< равномерно ограничена при любых h>0.
По условию теоремы limtQ(t)=0.
При фиксированных h>0 и k0 определим функцию qk(t,h)=1 при
khx<(k+1)h и qk(t,h)=0 вне этого интервала. В этих обозначениях в силу
монотонности подынтегральной функции получаем двустороннюю оценку


k 0
k 0
 Q((k  1)h)qk ( x, h)  Q( x)   Q(kh)qk ( x, h).
Тогда для интеграла имеем следующие оценки
27
t
[ ] 1
h
t
 Q((k  1)h)[ H (t  kh)  H (t  (k  1)h)]   Q(t  x)dH ( x) 
k 0
0

(2.31)
t
[ ] 1
h
t
 Q(kh)[ H (t  kh)  H (t  (k  1)h)]  H (h)Q([ h ]h),
k 0
t
h
где через [ ] обозначена целая часть отношения.
При фиксированных h>0 и n0 , если t велико, t>t(n), из (2.31)
получаем
t
n
 Q((k  1)h)[ H (t  kh)  H (t  (k  1)h)]   Q(t  x)dH ( x) 
k 0
0
n
  Q(kh)[ H (t  kh)  H (t  (k  1)h)]  N (h)
k 0

(2.32)
 Q(kh).
k  n 1
Перейдем в (2.32) к пределу при t и получим в силу справедливости
(2.29)
n

h
h
Q((k  1)h)
 limt   Q (t  x)dH ( x)   Q (kh)
 N (h)  Q (kh).

Mξ
Mξ
k 0
k 0
k  n 1
0
t
n
(2.33)
В силу интегрируемости функции Q(x) имеем

limn
 Q(kh)  0.
(2.34)
k  n 1
Поэтому при переходе в (2.33) к пределу при n→∞ получаем

 Q((k  1)h)
k 0

h
h
 limt   Q (t  x)dH ( x)   Q(kh)
,
Mξ
Mξ
k

0
0
t
что при при h→0 доказывает предельное равенство (2.30).*
2.8 Характеристики случайных величин, связанных с процессом
восстановления
1. Момент последнего восстановления на конечном интервале.
Для простого процесса восстановления исследуем распределение
момента
последнего
восстановления
на
интервале
[0,t).
При
этом
исследовании момент t0=0 считаем моментом восстановления в ситуации,
когда на интервале [0,t) восстановлений не было.
28
Обозначим этот момент через t . Тогда очевидно
P{t<0}=0, P{t=0}=1-F(t), P{t<x}=1 при x>t .
(2.35)
При 0<xt получаем равенство
x
P{ζ t  x}  1  F (t )   [1  F (t  y )]dH ( y ) ,
(2.36)
0
если учесть, что dH(y) есть вероятность появления восстановления в
окрестности точки y, а 1-F(t-y) есть вероятность того, что на (y,t) не будет
восстановлений, то есть в окрестности точки y произошло последнее
восстановление до t. Равенства (2.35) и (2.36) решают поставленную задачу.
Распределение случайной величины t имеет разрыв в нуле (величина
скачка равна 1-F(t)) и непрерывна при x=t , поскольку
t
 [1  F (t  x)]dH ( x)  F (t ),
0
если учесть равенство (2.16).
Из (2.36) получаем
t
t
Mζ t  tF (t )   (t  x)[1  F (t  x)]dH ( x)   x[1  F (t  x)]dH ( x).
0
(2.37)
0
2. Обратное время возвращения (время недоскока)
Обратное время возвращения t (время недоскока) определяется как
время от момента последнего восстановления, произошедшего на интервале
[0,t), до момента t. Из определений следует, что между случайными
величинами
имеет
место
функциональная
зависимость
t+t=t.
Следовательно, при 0  x  t
P{ηt  x}  P{ζ t  t  x}
и из (2.35) и (2.36) получаем
P{t <0}=P{t>t}=0, P{t =t}=P{t=0}=1-F(t),
P{t <x}=P{t>t-x}=1 при x>t,
(2.38)
tx
P{ηt  x}  F (t ) 
 [1  F (t  y)]dH ( y),
0
29
0  x  t.
(2.39)
Распределение случайной величины t имеет разрыв при x=t, величина
скачка равна 1-F(t), поскольку из (2.39) имеем limxtP{t<x}=F(t), и
непрерывна при x=0 , поскольку непрерывно при x=t распределение (2.36).
Полученный результат легко объяснить, если обратить внимание на
равенства событий - при x<t событие {t>x} означает, что на интервале (t-x,t)
нет восстановлений, при x=t событие {t=x} означает, что на интервале (0,t)
нет восстановлений.
Из (2.39) получаем для математического ожидания
t
Mηt  t  Mζ t  t   x[1  F (t  x )]dH ( x ).
(2.40)
0
3. Прямое время возвращения (перескок)
Прямое время возвращения t (время передоскока) определяется как
время от момента t до ближайшего восстановления, произошедшего после t.
Заметим, что при любом x>0 событие {t>x} означает, что на интервале
(t,t+x) нет восстановлений. Искомое распределение выпишем, используя
формулу полной вероятности. Для условных вероятностей имеем при x0,
0yt
P{ξt  x / ζ t  y} 
1  F (t  x  y )
,
1  F (t  y )
при этом учитывается, что на периоде [y,t) нет восстановлений.
Тогда по формуле полной вероятностей получаем
t
t
0
0
P{ξt  x}   P{ξt  x / ηt  y}dP{ζ t  y}  1  F (t  x)   [1  F (t  x  y )]dH ( y )
или для функции распределения получаем
t
P{ξt  x}  F (t  x)   [1  F (t  x  y )]dH ( y ).
(2.41)
0
Из (2.41) получаем выражение для математического ожидания

 t
0
0 0
Mξt   [1  F ( x  t )]dx    [1  F (t  z  y )]dH ( y )dz.
30
(2.42)
Здесь уместно привести выражение для математического ожидания
интервала, накрывающего точку t. Из равенств (2.40) и (2.42) получаем
сумму

t

0
0
tx
M (ξt  ηt )  t   [1  F ( x  t )]dx   { x[1  F (t  x)] 
 [1  F ( y)]dy}dH ( x).
(2.43)
Отметим одно важное обстоятельство - математическое ожидание этого
интервала не совпадает с математическим ожиданием случайной величины .
4. Совместное распределение прямого и обратного времен возвращения
Для 0xt, y0 выпишем вероятности P{ty,tx}, из которых легко
получить совместное распределение P{t<y,t<x}. В самом деле,
P{ty,tx}+P{t<y,t<x}+P{ty,t<x}+P{t<y,tx}=1
P{t<y}=P{t<y,t<x}+P{t<y,tx},
P{t<x}=P{t<y,t<x}+P{ty,t<x}.
P{ty,tx}+P{t<y}+P{t<x}-1=Pt<y,t<x}.
Для того, чтобы реализовалось событие {ty}{(tx}, необходимо и
достаточно отсутствия восстановлений на интервале (t-x,t+y). Поэтому,
P{ξt  y, ηt  x}  P{ξt  y, ηt  y / ζ t  0}P{ζ t  0} 
tx
tx
0
0
  P{ξt  y, ηt  x / ζ t  z}dP{ζ t  z}  1  F (t  y ) 
 [1  F (t  y  z )]dH ( z ).
(2.44)
Так как случайная величина t имеет положительный атом при x=t, то особо
надо выделить случай
P{ty,t=t}=1-F(t+y),
что соответствует первому слагаемому в (2.44).
Наконец, при x>t, y0 совместная вероятность P{ξt  y, ηt  x} равна
нулю в силу равенства (2.42).
Равенство (2.44) показывает зависимость случайных величин t и t, так
как вероятность
P{ξt  y, ηt  x}
не представима в виде произведения
вероятностей P{ξt  y} и P{ηt  x} .
31
В заключение настоящего раздела приведем распределение интервала,
накрывающего произвольный момент t, то есть распределение суммы
P{ξt  ηt  x}.
При x<t получаем
x x v
P{ξt  ηt  x}   
d
x
y
F ( y  v)d ν H (t  v)   [ F (ν)  F ( x)]d ν H (t  v).
0 0
(2.45)
0
При x  t получаем
t
P{ξt  ηt  x}   [ F (ν)  F ( x)]d ν H (t  v)  P{ξ t  x  t , ηt  t} 
0
t
t
0
0
(2.46)
  [ F (ν)  F ( x)]d ν H (t  v)  P{t  ξ  x}   [ F (ν)  F ( x)]d ν H (t  v)  F ( x)  F (t ).
2.9. Примеры использования узловой теоремы восстановления
1. Вычисление предельных распределений прямого и обратного времен
возвращения.
Для обратного времени возвращения нужно перейти к пределу в
соотношении (2.39), воспользовавшись узловой теоремой восстановления.
Верхний предел определенного интеграла в (2.39) равен t-x, поэтому под
знаком
интеграла
стоит
функция
Q(t-x-y)=1-F(t+x-x-y)=1-F(t-y).
Следовательно, имеем Q(t)=1-F(t+x). Предел первого слагаемого равен
единице и окончательно получаем

x
 [1  F ( z )]dz  [1  F ( z )]dz
limt  P{ηt  x}  1  x

0

,
(2.47)
 [1  F ( z )]dz  [1  F ( z )]dz
0
0
потому что

Mξ   [1  F ( z )]dz
0
(более подробно см. в математическом приложении 4).
Следовательно, плотность предельного распределения равна
32
(2.48)
1  F ( x)

.
 [1  F ( z )]dz
0
Для прямого времени возвращения нужно перейти к пределу в
соотношении (2.41), используя узловую теорему восстановления. Верхний
предел определенного интеграла в (2.41) равен t, поэтому под знаком
интеграла стоит функция Q(t-y)=1-F(t+x-y). Следовательно, имеем Q(t)=1F(t+x).
Предел первого слагаемого равен единице и окончательно получаем

 [1  F ( z )]dz
limt  P{ξt  x}  1  x
x

 [1  F ( z )]dz
0

.
(2.49)
 [1  F ( z )]dz  [1  F ( z )]dz
0
0
Таким образом, доказано совпадение предельных распределений для
прямого и обратного времен возвращения.
2. Вычисление предельного совместного распределения прямого и
обратного времен возвращения.
Для определения предельного совместного распределения нужно
перейти к пределу в равенстве (2.44). В этом случае Q(t)=1-F(t+x+y) и
поэтому

limt  P{ξt  y, ηt  x} 
 [1  F ( z)]dz
x y
Mξ
.
(2.50)
Обратим внимание на зависимость случайных величин t и t и в
предельном случае. Последнее утверждение следует из равенства (2.50).
Теперь для предельного случая определим математическое ожидание
интервала, накрывающего бесконечно далекую точку t. Величина этого
интервала равна t+t. Если воспользоваться равенством (2.48) для
математического
ожидания
положительной
случайной
величины
и
предельными равенствами (2.42) и (2.44), то можно утверждать, что
математическое ожидание этого интервала равно
33

M (ξt  ηt ) 
2  z[1  F ( z )]dz
0

 Mξ 
 [1  F ( z )]dz
Dξ
,
Mξ
(2.51)
0
где через D обозначена дисперсия случайной величины, если таковая
существует. Как следует из равенства (2.51), математическое ожидание
исследуемого интервала не совпадает с математическим ожиданием M и
отличается тем больше, чем больше дисперсия случайной величины . При
выводе равенства (2.51) мы воспользовались свойством математического
ожидания суммы даже зависимых слагаемых. Тот же самый результат
получим, если непосредственно перейдем к пределу в равенстве (2.39).
3. Вычисление предельного распределения суммы прямого и обратного
времен возвращения (распределения интервала, накрывающего бесконечно
далекий момент).
Для определения этого предельного распределения нужно перейти к
пределу в равенстве (2.45). Равенство (2.45) можно преобразовать заменой
переменной интегрирования z=t-ν
x
P{ξt  ηt  x}    [ F (ν)  F ( x)]d ν H (t  v) 
0
tx

 [ F (t  z )  F ( x)]dH ( z ) 
t
tx
 [1  F ( x)  1  F (t  z )]dH ( z ) 
t
t
tx
0
0
 [1  F ( x)][ H (t  x)  H (t )]   [1  F (t  z )]dH ( z ) 
 [1  F (t  z )]dH ( z ).
.
Первое слагаемое имеет предел, равный  
x[1  F ( x)]
, на основании
 [1  F (u )]du
0
теоремы Блекуэлла, второе слагаемое имеет пределом единицу, так как
справедливо
равенство
t
 [1  F (t  u )]dH (u )  F (t ),
если
воспользоваться
0
интегральным уравнением восстановления (2.16) или узловой теоремой
34

 [1  F (u )]du
восстановления, наконец, последнее слагаемое имеет пределом
x

,
 [1  F (u )]du
0
если использовать узловую теорему восстановления.
Окончательно получаем

limt  P{ξt  ηt  x}   
x[1  F ( x)]

 [1  F (u)]du
x

x

 udF (u)

0
.
(2.52)
 [1  F (u)]du  [1  F (u)]du  [1  F (u)]du
0
0
0
4. Построение асимптотического разложения функции восстановления
процесса восстановления с запаздыванием.
Из равенства (2.18) элементарными преобразованиями получаем
t
H 1 (t )  F1 (t )  H (t )   [1  F1 (t  x)]dH ( x) .
0
Для функции H(t) воспользуемся асимптотическим разложением (2.22),
а для последнего интеграла на основании узловой теоремы имеем
t
limt   [1  F1 (t  x)]dH ( x) 
0
Mξ1
.
Mξ
Поэтому для функции восстановления процесса восстановления с
запаздыванием получаем
H1 (t ) 
Mξ 2  2(Mξ1 )(Mξ )
t

 o(1) .
Mξ
2( Mξ )2
(2.53)
В заключение настоящего раздела еще раз отметим, что полученные
формулы
для
предельных
распределений
справедливы
при
неарифметическом (нерешетчатым) распределении F(x).
2.10. Некоторые полезные оценки для функций восстановления
Часто
возникает
необходимость
оценивать поведение функции
восстановления H(t) при конечном значении аргумента t. Для этого приведем
некоторые полезные оценки для функции восстановления на любом
конечном интервале времени. Основой получения этих оценок служит
35
равенство (2.4) для функции восстановления и аналогичное равенство для
плотности восстановления.
1. Функция восстановления.
Для функции восстановления из (2.4) следует очевидное неравенство
F(t)H(t). Для получения оценки сверху заметим, что поскольку k0 и
n
tn   ξ k справедливо следующее соотношение между событиями
k 1
{maxk=(1,2,...,n)k<t}{tn<t},
и, следовательно, справедливо неравенство
F(n)(t)=P(tn<t)P{maxk=(1,2,...,n)k<t}=Fn(t),
так как случайные величины k независимы. Поэтому из (2.4) получаем
двустороннюю оценку
F (t )  H (t ) 
F (t )
.
1  F (t )
(2.54)
Оценку (2.54) можно уточнить. Воспользуемся для этого очевидным
равенством
ξ ( t ) 1
ξ
k 1
k
 t  ξt ,
где по-прежнему обозначены (t) число восстановлений, произошедших до
момента времени t, t - прямое время возвращения (время перескока).
Если использовать тождество Вальда (математическое приложение 5),
то получаем
M(1+2+...+(t)+1)=M (M(t)+1)= M[H(t)+1]=t+Mt,
поскольку случайные величины ξi одинаково распределены и при i>ξ(t)+1 не
зависят от ξ(t) по определению процесса восстановления.
Следовательно,
H (t ) 
t
1.
Mξ
(2.55)
Объединяя неравенства (2.54) и (2.55), получаем
max[ F (t ),
t
F (t )
.
 1]  H (t ) 
Mξ
1  F (t )
36
(2.56)
2. Плотность восстановления.
Для производной свертки справедлива оценка при n>1
t
f ( n ) (t )   f (t  x)dF ( n 1) ( x)  M (t ) F ( n 1) (t ),
0
где обозначено M (t )  max0 xt f ( x) .

Тогда из равенства для плотности восстановления h(t )   f ( k ) (t )
k 1
получаем следующие оценки
f (t )  h(t )  f (t ) 
M (t ) F (t )
.
1  F (t )
(2.57)
3. Сравнение функций восстановления.
Свойство, о котором пойдет речь, можно назвать свойством
монотонной
зависимости
функции
восстановления
от
функции
распределения, соответствующей ей.
Итак, пусть заданы два простых процесса восстановления, для которых
интервалы между восстановлениями имеют распределения F(x) и G(x)
соответственно. Обозначим через HF(x) и HG(x) их функции восстановления.
Тогда справедлива следующая
ЛЕММА 2.3. Если при x0 справедливо неравенство F(x)G(x), то
HF(x)HG(x).
(2.58)
ДОКАЗАТЕЛЬСТВО. Используя метод математической индукции,
докажем неравенство F(n)(x)G(n)(x), n>0.
В самом деле, коль скоро
F(1)(x)=F(x) и G(1)(x)=G(x), то по условию леммы неравенство справедливо
для n=1. Предположим, что оно верно для произвольного n>1. Докажем
справедливость этого неравенства для n+1 . Из определения интеграла
свертки получаем
F
( n  1)
(t )  G
( n  1)
t
(t )   F
0
t
(n)
(t  x)dF ( x)   G ( n ) (t  x )dG ( x ) 
0
t
t
t
0
0
0
  F ( n ) (t  x)dF ( x)   F ( n ) (t  x)dG ( x)   [ F (t  x)  G (t  x)]dF ( n ) ( x)  0,
37
что и доказывает утверждение леммы, если воспользоваться равенством (2.4)
для функции восстановления. *
2.11. Стационарные процессы восстановления
ОПРЕДЕЛЕНИЕ 2.2. Стационарным процессом восстановления (t)
называется такой процесс восстановления, у которого распределение числа
восстановлений, произошедших на любом интервале заданной длины, не
зависит от расположения этого интервала, т.е. функция P{(t+x)-(t)=k} не
зависит от t, а зависит только от x и k.
В теории случайных процессов такие процессы называют процессами
со стационарными приращениями или однородными процессами [8]. В
теории массового обслуживания, следуя Хинчину [5], такие потоки называют
стационарными. Мы будем придерживаться этой терминологии, поскольку
ориентируемся на литературу по теории массового обслуживания.
Обозначим через H1(t) функцию восстановления стационарного
процесса восстановления ξ(t). При H1(0)=0 получаем
M[(t+x)-(t)]=H1(t+x)-H1(t)=H1(x)=M[(x)-(0)].
Первое равенство следует из определения функции восстановления процесса
восстановления, а второе равенство следует из определения стационарности
процесса восстановления.
Поэтому для
функции
восстановления
стационарного
процесса
восстановления справедливо равенство H1(t+x)=H1(t)+H1(x). Единственной
функцией, тождественно не равной константе и удовлетворяющей этому
соотношению,
коэффициент
является
линейная
определяется
функция
поведением
H 1 ( x) 
функции
x
,
Mξ
поскольку
восстановления
в
бесконечности (см. элементарную теорему восстановления). Определим,
какие функции (F1(x), F(x)) задают процесс восстановления с запаздыванием,
у которого функция восстановления линейная функция. Для этого подставим
38
функцию H 1 ( x) 
получим
x
Mξ
в интегральное уравнение восстановления (2.17) и
распределение
соответствующее
F1(x),
заданной
функции
восстановления,
x
x y
 F1 ( x)  
dF ( y )
Mξ
Mξ
0
x
или
x
F1 ( x) 
 [1  F ( y)]dy
0

.
(2.59)
 [1  F ( y)]dy
0
Итак, получили соотношение (2.59), устанавливающее связь между
функциями F1(x) и F(x), если процесс восстановления стационарный.
Другими словами, задавая функцию F(x), получаем функцию распределения
первого интервала F1(x) для стационарного процесса восстановления.
Условие (2.59) является необходимым условием стационарности процесса
восстановления, то есть, если процесс восстановления стационарен, то
справедливо равенство (2.59).
Равенство (2.59) позволяет утверждать, что для стационарного
процесса восстановления функция F1(x) должна быть дифференцируемой и,
следовательно, справедливо равенство

F ( x)  1  F ( x)  [1  F ( y )]dy .
'
1
0
Следовательно, обратно, задавая F1(x) и константу

 [1  F ( y)]dy ,
0
получаем функцию F(x), для которой процесс восстановления будет
стационарным.
Докажем, что (2.59) является и достаточным условием стационарности
процесса восстановления.
Итак,
предположим,
что
задан
процесс
восстановления
с
запаздыванием, у которого функции распределения, его определяющие, F1(x)
39
и F(x) связаны соотношением (2.59). Тогда получаем связь между
преобразованиями Лапласа-Стилтьеса
F1* ( s) 
и
из
(2.20)
получаем
1  F * (s)
sMξ
преобразование
Лапласа-Стилтьеса
функции
восстановления стационарного процесса восстановления
H1* ( s) 
F1* ( s)
1

.
*
1  F (s) sMξ
(2.60)
Единственной функцией, у которой преобразование Лапласа-Стилтьеса (2.54)
x
.
Mξ
и H1(0)=0, является линейная функция H 1 ( x) 
Далее заметим, что равенства (2.36), (2.39) и (2.41), выведенные выше
для простого процесса восстановления, легко переносятся на процесс
восстановления с запаздыванием. Приведем их без подробного объяснения
x
P{ζ t  x}  1  F1 (t )   [1  F (t  y )]dH 1 ( y ) , при 0<x t,
(2.61)
0
tx
P{ηt  x}  F1 (t ) 
 [1  F (t  y)]dH ( y), при 0<x t,
(2.62)
1
0
t
P{ξt  x}  F1 (t  x)   [1  F (t  x  y )]dH 1 ( y ), при x>0.
(2.63)
0
Если в равенство (2.63) подставить функцию (2.59) и линейную
функцию
восстановления
H 1 ( x) 
x
,
Mξ
то
получаем
x
P{ξt  x}  F1 ( x) 
 [1  F ( y)]dy
0

.
Это
значит,
что
развитие
процесса
 [1  F ( y)]dy
0
восстановления на интервалах (0,x) и (t,t+x) определяется одними и теми же
вероятностными характеристиками. Тогда совпадут распределения числа
восстановлений, произошедших на этих интервалах. Следовательно, процесс
восстановления стационарный. Таким образом, доказана следующая
40
ТЕОРЕМА 2.3. Процесс восстановления стационарен тогда и только
тогда, когда функции F1(x) и F(x), определяющие его, связаны соотношением
(2.59).
Сформулированные выше необходимые и достаточные условия
стационарности процесса восстановления могут быть взяты за определение
его стационарности.
2.12. Альтернирующие процессы восстановления
ОПРЕДЕЛЕНИЕ 2.3. Альтернирующим процессом восстановления
называется поток с ограниченным последействием, у которого
F2k-1(t)=F(t), F2k(t)=G(t), k=1,2,3,..., F(t) G(t).
(2.64)
Таким образом, альтернирующий процесс восстановления задается
распределением F(x) нечетных интервалов и распределением G(x) четных
интервалов между соседними моментами восстановления.
Нетрудно
заметить,
что
поток
четных
восстановлений
альтернирующего процесса образует простой процесс восстановления с
распределением интервалов, равным свертке распределений F(t) и G(t),
t
Ψ(t )   F (t  y )dG ( y ).
(2.65)
0
Поток нечетных восстановлений альтернирующего процесса образует
процесс восстановления с запаздыванием, определяемый функциями F(t) и
(t).
Обозначим H0(t) и H1(t) функции восстановления этих потоков и
H(t)=H0(t)+H1(t) функцию восстановления альтернирующего процесса. В
силу (2.16) и (2.19)
t
H 0 (t )  Ψ(t )   Ψ(t  y )dH 0 ( y ),
0
F * (s)G* (s)
H ( s) 
,
1  F * ( s)G* (s)
*
0
41
поскольку *(s)=F*(s)G*(s).
Из равенств (2.17) и (2.20) получаем
t
H 1 (t )  F (t )   Ψ(t  y )dH 1 ( y ),
0
t
F * ( s)
H ( s) 
, P{ A0 }  1  F (t ), P{ Ak }   [1  F (t  x)]dΨ ( k ) ( x )
*
*
1  F ( s)G ( s)
0
*
1
и, следовательно,
H * ( s) 
F * ( s)[1  G* (s)]
.
1  F * (s)G* (s)
Если воспользоваться равенствами (2.22) и (2.53), то получим
M (ξ1  ξ 2 ) 2
t
H 0 (t ) 

 1  o(1),
Mξ1  Mξ 2 2( Mξ1  Mξ 2 )2
M (ξ1  ξ 2 ) 2
Mξ1
t
H 1 (t ) 


 o(1).
2
Mξ1  Mξ 2 2( Mξ1  Mξ 2 ) Mξ1  Mξ 2
Следовательно,
процесса
для
восстановления
функции
будем
восстановления
иметь
следующее
альтернирующего
асимптотическое
разложение
H (t ) 
M ( ξ1  ξ 2 ) 2
Mξ1
2t


 1  o(1).
2
Mξ1  Mξ 2 ( Mξ1  Mξ 2 ) Mξ1  Mξ 2
Далее исследуем вероятность того, что произвольный момент t>0
накрывается нечетным интервалом восстановления. Для этого введем в
рассмотрение следующие события
2k
2k 1
m 1
m 1
A0  {ξ1  t}, Ak  { ξ m  t 
ξ
m
}, k  1, 2,... .
Тогда событие A, состоящее в том, что момент t накрывается нечетным
интервалом восстановления, можно записать как сумму несовместных
событий Ak, т.е. A 

Ak . Поэтому
k 0
P1 (t )  P{ A}  P{

k 0
t

Ak }   P{ Ak } .
k 0
Так как P{ A0 }  1  F (t ), P{ Ak }   [1  F (t  x)]dΨ ( k ) ( x) при k>0, то
0
42

t
t
P1 (t )  P{ A}  1  F (t )    [1  F (t  x)]dΨ ( x ) 1  F (t )   [1  F (t  x )]dH 0 ( x) .(2.66)
(k )
k 1 0
0
Для вероятности P2(t) противоположного события - момент t
накрывается четным интервалом справедливо равенство
t
P2 (t )  1  P1 (t )  F (t )   [1  F (t  x)]dH 0 ( x) ,
0
t
P2 (t )   [1  G (t  x )]dH 1 ( x ),
(2.67)
0
если провести рассуждения, аналогичные рассуждениям, проведенным при
выводе (2.66), для альтернирующего процесса как процесса восстановления с
запаздыванием.
Равенства (2.66) и (2.67) используем для исследования предела
limtPn(t), n=1,2. Для определения предела интеграла воспользуемся
узловой теоремой восстановления. Если хотя бы одно распределение F(x) или
G(x) нерешетчатое и существуют их математические ожидания, то пределы
существуют и
limt  Pn (t ) 
Mξ n
, n=1,2.
Mξ1  Mξ 2
43
(2.68)
ГЛАВА III. ПУАССОНОВСКИЙ ПРОЦЕСС (ПРОСТЕЙШИЙ ПОТОК)
Особое место среди процессов восстановления занимает простейший
поток однородных событий.
3.1. Определение и свойства простейшего потока
ОПРЕДЕЛЕНИЕ 3.1. Простейшим потоком (t) называется простой
процесс восстановления, у которого интервалы между моментами
восстановления распределены по экспоненциальному закону F(x)=1-e-t, t 0 с
параметром .
Из определения следует, что простейший поток определяется своим
параметром и один простейший поток отличается от другого значением этого
параметра.
Переходим к изучению свойств этого процесса.
1. Стационарность. Для доказательства стационарности нужно
проверить выполнение необходимого и достаточного условия (2.59).
Выполнение условия (2.59) очевидно, то есть F1(x)=1-e-t, t0.
Далее докажем, что простейший поток является единственным
простым
процессом
восстановления,
обладающим
свойством
стационарности.
Для любой функции распределения F(x) обозначим λ  
1
и из
 [1  F ( x)]dx
0
(2.59) для простого процесса восстановления с распределением F(x)
дифференцированием получим дифференциальное уравнение
F ( x)  1 
F ' ( x)
.
λ
Для этого дифференциального уравнения единственным решением с
начальным условием F(0)=0 является функция F(x)=1-e-x, x0. Это и
доказывает наше утверждение.
44
Используя свойство стационарности, можно изучать этот процесс
восстановления на интервале (0,t), поскольку P{(t)=k}=P{(t+x)-(x)=k}. Так
k
как P{(t)=k}=P{k<t,k+1t}, ηk   ξ m , m - последовательность независимых
m 1
случайных величин, распределенных по экспоненциальному закону с
параметром , то в силу равенства (1.10) получаем
( λt )k  λt
P{ξ ( x  t )  ξ ( x)  k}  P{ξ (t )  k} 
e , t  0, k  0, 1,... ,
k!
(3.1)
то есть число восстановлений на произвольно расположенном интервале
(x,x+t) распределено по закону Пуассона с параметром t.
Функция восстановления простейшего потока равна
H(t)=t,
(3.2)
что следует непосредственно из (3.1) и определения функции восстановления
(2.2)


k 0
k 0
H (t )   kP{ξ (t )  k}   k
( λt )k  λt
e  λt ,
k!
либо как решение уравнения восстановления (2.16), из которого получаем
преобразование Лапласа-Стилтьеса
H * (s) 
λ
,
s
так как
F * ( s) 
λ
,
sλ
и,
следовательно, равенство (3.2).
2.
Отсутствие
последействия.
Это
свойство
характеризует
независимость прошлого и будущего течения процесса восстановления. Для
процессов восстановления
это
свойство
можно назвать
марковским
свойством.
Зафиксируем момент t>0 и все поведение процесса до момента t будем
называть прошлым, а после момента t - будущим.
Выпишем
функцию
распределения
момента

последнего
восстановления на интервале [0,t). С учетом (3.2) из равенств (2.35) и (2.36)
для простейшего потока имеем
45
P{ζ t  0}  e  λt ,
P{ζ t  x}  e
 λt
x
  e  λ (t  y ) λdt  e  λ (t  x ) , 0  x  t ,
(3.3)
0
P{ζ t  x}  1, x  t.
С учетом (3.3) или (2.37) имеем для математического ожидания
момента последнего восстановления
Mζ t  t 
1  e λt
.
λ
Для обратного времени возвращения t (времени недоскока) имеем из
(2.38) и (2.39)
P{ηt  x}  1  e
 λt
tx

e
 λ (t  y )
λdy  1  e  λx , 0  x  t ,
0
(3.4)
P{ηt  x}  1, x  t .
Из последнего соотношения следует равенство P{ηt  t}  e λt .
С учетом (3.4) или (2.40) имеем для математического ожидания
времени недоскока
Mηt 
1  e λt
.
λ
При t распределение времени недоскока простейшего потока
стремится к экспоненциальному распределению с параметром , а
1
λ
математическое ожидание стремится к .
Заметим, что случайные величины t и t определяют поведение
процесса восстановления в прошлом.
Далее вычислим распределение времени перескока t - случайной
величины, определяющей поведение процесса восстановления в будущем. Из
(2.41) и (2.42) получаем
t
P{ξt  x}  1  e  λ (t  x )   λe  λ (t  x  y ) dx  1  e  λx , x  0,
0
1
Mξt  .
λ
46
(3.5)
Теперь исследуем зависимость прошлого и будущего поведения
простейшего процесса. Для этого вычислим совместное распределение t и t,
воспользовавшись равенствами (2.44). Получаем при 0<xt, y>0
P{ηt  x, ξt  y}  e
 λ (t  y )
tx

 λe
 λ (t  y  z )
dz  e λ ( x  y )  P{ηt  x}P{ξt  y},
(3.6)
0
P{ηt  t , ξt  y}  e  λ ( x t )  P{ηt  t}P{ξt  y},
(3.7)
наконец, P{ηt  x, ξt  y}  0  P{ηt  x}P{ξt  y}, при x>t, y>0.
Последние равенства доказывают независимость случайных величин t
и t для простейшего потока и свойство отсутствия последействия для
этого потока.
Это свойство можно переформулировать как свойство независимости
приращений простейшего потока (t) на произвольных непересекающихся
интервалах времени (0,x) и (x,x+t), x0, t0, n0, k0
( λx)n  λx ( λt ) k  λt
e
e 
n!
k!
 P{ξ ( x)  n}P{ξ ( x  t )  ξ ( x)  k}.
P{ξ ( x)  n, ξ ( x  t )  ξ ( x)  k} 
(3.8)
3. Ординарность. Как и всякий процесс восстановления, простейший
поток имеет неубывающие ступенчатые траектории (напомним, что (t) есть
число восстановлений, произошедших до момента t) и, коль скоро
экспоненциальное распределение непрерывно в нуле, то вероятность того,
что интервал между соседними моментами восстановления равен нулю,
равна нулю. Значит, почти все траектории простейшего процесса будут иметь
скачки, равные единице. Свойство ординарности определяется как свойство,
выражаемое асимптотическим равенством P{(t)>1}=o(t) при t0, то есть
вероятность появления более одного восстановления в интервале длины x
стремится к нулю быстрее, чем длина этого интервала. Из (3.1) для
простейшего потока получаем


( λt )k  λt
e  1  e λt (1  λt )  o(t ),
k 2 k !
P{ξ (t )  1}   P{ξ (t )  k}  
k 2
то есть простейший поток обладает свойством ординарности.
47
(3.9)
Итак, подводя итог настоящему разделу, можно сказать, что из
определения
простейшего
экспоненциальным
восстановлениями,
потока
как
распределением
следует,
что
этот
процесса
интервалов
процесс
восстановления
с
между
соседними
обладает
свойствами
стационарности, ординарности и отсутствия последействия.
3.2. Другие определения простейшего потока
Напомним, что в параграфе 2.1 главы II был определен случайный
поток однородных событий (t) как случайный процесс, для которого
область значений есть неотрицательные целые числа E={0,1,...,n,...}, (t)E, и
все траектории являются неубывающими ступенчатыми функциями. Такой
случайный процесс можно задать, задавая совместное распределение
случайной последовательности {tn=tn(), 1n<}, которая определяет
моменты скачков, а номер n задает номер скачка случайного процесса (t) [5].
ОПРЕДЕЛЕНИЕ 3.2. Простейшим потоком называется всякий
стационарный ординарный поток без последействия.
Приведенные определения 3.1. и 3.2. означают, что перечисленные
условия стационарности, ординарности и отсутствия последействия являются
необходимыми и достаточными условиями того, чтобы поток был
простейшим.
Для доказательства эквивалентности этих определений необходимо
доказать теперь, что из свойств стационарности, ординарности и отсутствия
последействия следует, что интервалы между соседними восстановлениями
(скачками потока) суть независимые экспоненциально распределенные
случайные величины.
Обозначим
pk(t)=P{(t)=k}=P{(t+x)-(x)=k}=
=P{(t+x)-(x)=k(x)=n}=P{(t+x)=k+n(x)=n}.
48
(3.10)
Все эти равенства справедливы в силу выполнения свойств стационарности и
отсутствия последействия (независимости приращений) процесса (t). Как и
ранее считаем P{(0)=0}=1.
Тогда
1
p0 (1)  P{ξ (1)  0}  [ p0 ( )]n ,
n
или, обозначая
1
1
n
p0 ( )  θ . Для k>0 справедливо равенство
n
найдется такое k>0, что
p0 (1)  θ ,
имеем
k
k
p0 ( )  θ n . Для любого t>0
n
k 1
k
t 
и в силу монотонности функции p0(t)
n
n
получаем
θ
При
n
k 1
n
k
k 1
k
 p0 (
)  p0 (t )  p0 ( )  θ n .
n
n
крайние
члены
неравенств
стремятся
к
θ t  e λ ln θ  e λt , λ   ln θ . Поэтому
p0 (t )  e  λt .
(3.11)
По определению величины  выполняются неравенства 01. При
=1 вероятность появления хотя бы одного события на любом конечном
интервале равна нулю, что равносильно отсутствию потока однородных
событий, при =0
на любом как угодно малом интервале будут события с вероятностью
единица, а это означает, что с вероятность единица на любом конечном
интервале будет сколь угодно много событий. Эти неинтересные крайние
случаи из рассмотрения исключаются. Для 0<<1 параметр =-ln
существует и 0<<.
Из условий стационарности, ординарности и отсутствия последействия
вытекают следующие асимптотические равенства при 0
p0 (Δ)  1  λΔ  o(Δ), p1 (Δ)  λΔ  o(Δ),

 p (Δ)  o(Δ).
k 2
2
(3.12)
В наших условиях по формуле полной вероятности получаем при k>0,
t0, >0 соотношения
49
p0 (t  Δ)  p0 (t )(1  λΔ)  o(Δ),
pk (t  Δ)  pk (t )(1  λΔ)  pk 1 (t ) λΔ  o(Δ), k  1,
из которых после элементарных преобразований и перехода к пределу при
0 получим систему дифференциальных уравнений
p0' (t )   λp0 (t ), pk' (t )   λpk (t )  λpk 1 (t ), k  1.
(3.13)
Если процесс стартует из нуля, то получаем начальные условия
p0(0)=1, pk(0)=0, k>0, для решений системы дифференциальных уравнений
(3.13).
Обозначим
через

Φ( z , t )   z k pk (t )
производящую
функцию
k 0
последовательности pk(t), k0. Умножим k-ое уравнение (3.13) на
zk и
просуммируем по k от 0 до  . Тогда получим
Φ( z, t )
 λ( z  1)Φ( z , t ),
t
(3.14)
начальные условия определяются равенством (0,z)=p0(0)=1. Поэтому
решение уравнения (3.14) имеет вид
ln(t,z)-ln(0,z)=(z-1)
или с учетом начальных условий выписываем решение уравнения (3.14)

Φ( z, t )  e λ ( z 1)t   z k
k 0
( λt )k  λt
e .
k!
(3.15)
Следовательно, для искомых вероятностей получаем равенства
( λt ) k  λt
pk (t ) 
e ,
k!
(3.16)
совпадающие с равенствами (3.1).
Обозначим через k промежуток времени между k-м и k+1-м событием
(моментом восстановления). Тогда из равенства (3.11) или (3.16) при k=0
легко выписать распределение интервала до первого восстановления

( λt )k  λt
F0 (t )  P{ξ0  t}  P{ξ (t )  0}  
e  1  e λt , t  0.
k 1 k !
50
Другими словами, интервал до первого восстановления распределен по
экспоненциальному закону с параметром . Преобразование ЛапласаСтилтьеса этого распределения равно

F0* ( s )   e  st dF0 (t ) 
0
λ
λs
Из равенства событий {0+1<t}={(t)>1} следуют равенства для
вероятностей

( λt )k  λt
e  1  e λt (1  λt ), t  0.
k 2 k !
P{ξ0  ξ1  t}  P{ξ (t )  1}  
(3.17)
Преобразование Лапласа-Стилтьеса функции (3.17) равно произведению


 st
 st
 λt
 e dP{ξ0  ξ1  t}   e d [1  e (1  λt )] 
0

 e
0

λ
λ2
 ( s  λ )t
2
λ tdt 
e
( λ  s ) tdt 
 F0* ( s ) F1* ( s ).
2 
2
( λ  s) 0
( λ  s)
2
 ( s  λ )t 2
0
(3.18)
Равенство (3.18) легко получается из равенства (1.7) при k=2 и t, так как
интегрируемая функция e-(s+)x(s+)2x является плотность распределения
Эрланга 2-го порядка с параметром (s+). Из равенства (3.18) следует, что
случайные
величины
0
1
и
независимы
и
распределение
1
экспоненциальное

F ( s )   e  st dF1 (t ) 
*
1
0
λ
,
( λ  s)
F1 (t )  P{ξ1  t}  1  e  λt , t  0.
Далее по индукции аналогично (3.17) и (3.18) для произвольного целого m>0
получаем
m
P{ ξk  t}  P{ξ (t )  m} 
k 0


m
( λt )k  λt
( λt )k
 λt
e

1

e
, t  0,


k  m 1 k !
k 0 k !

m
 st
 e dP{ ξk  t}   e d [1 
0

 e
0
 st
k 0
0


( λt ) k
]

k  m 1 k !
m
λ
λm 1
 ( s  λ )t
m 1 m
λ t dt 
e
(
λ

s
)
t
dt


Fk* ( s ).

m 1 
m 1
( λ  s) 0
( λ  s)
k 0
 ( s  λ ) t m 1 m
m 1
51
(3.19)
(3.20)
Равенство (3.20) доказывает, что последовательность {0,1,...,m,…} является
последовательностью взаимно независимых случайных величин и
Fk (t )  P{ξ k  t}  1  e  λt , t  0.
Так как это утверждение справедливо при любом k>0, то, следовательно,
доказана эквивалентность определений 3.1 и 3.2.
Заметим, что равенство (3.10) определяет условные вероятности,
причем эти вероятности не зависят для простейшего потока от x, n. В теории
марковских
процессов
введенные
условные
вероятности
называют
переходными и обозначаются pij (t )  P{ξ ( x  t )  j / ξ ( x)  i} . Для простейшего
потока имеем
pk (t )  pi ,i  k (t )  P{ξ ( x  t )  i  k / ξ ( x)  i} .
Это же следует из равенств (3.12), которые можно считать
асимптотическим разложением переходных вероятностей в окрестности
нуля,
pn,n()=p0()=P{(x+)=n(x)=n}=1-+o(),
pn,n+1()=p1()=P{(t+x)=n+1(x)=n}=+o(),
pn,n+k()=pk()=P{(x+)=k+n(x)=n}=o(), при k>1.
(3.21)
При этом условии свойство отсутствия последействия является
марковским свойством, поскольку будущее течение процесса не зависит от
его настоящего состояния. Уравнения (3.13) есть уравнения Колмогорова для
переходных вероятностей или вероятностей состояний при начальном
условии p0(0)=1. Матрица интенсивностей перехода имеет вид n,n+1=,
n,n+k=0 при k>1. Поэтому справедливо
ОПРЕДЕЛЕНИЕ 3.3. Простейший поток есть однородный марковский
процесс чистого размножения.
Наконец, можно для простейшего потока дать
ОПРЕДЕЛЕНИЕ 3.4. Простейший поток есть случайный процесс с
однородными независимыми приращениями, которые распределены по
закону Пуассона
52
P{ξ ( x  t )  ξ ( x)  k}  P{ξ (t )  ξ (0)  k} 
( λt )k  λt
e , k  0, x  0, t  0.
k!
Эквивалентность очевидно вытекает из предыдущих рассуждений, так
как
однородность приращений
эквивалентна стационарности потока,
отсутствие последействия эквивалентна независимости приращений, а
ординарность следует из свойств распределения Пуассона.
В дальнейшем эти определения будут использоваться в зависимости от
удобства решения конкретной задачи.
3.3. Исследование распределения интервала, накрывающего
произвольную точку
При исследовании этого распределения можно воспользоваться
свойством независимости времени перескока ξt и времени недоскока ηt для
простейшего потока, доказанного в разделе (равенства (3.6) и (3.7)). Свертка
распределений (3.4) и (3.5) дает при x<t
x
P{ξt  ηt  x}   [1  e  λ ( x  y ) ]λe  λy dy  1  (1  λx)e  λx .
0
При x  t получаем
t
P{ξt  ηt  x}   [1  e  λ ( x  y ) ]λe  λy dy  e  λt [1  e  λ ( x t ) ] 1  (1  λt )e  λx .
0
Аналогичный результат можно получить, если воспользоваться
равенствами (2.45) и (2.46), полученными в главе II.
Если речь идет о бесконечно далеком моменте t, то получаем
limt  P{ξt  ηt  x}  1  (1  λx)e  λx .
При t<∞ для математического ожидания суммы получаем
2  e λt
M (ξt  ηt ) 
.
λ
При t→∞ для математического ожидания суммы получаем
2
limt  M (ξt  ηt )  .
λ
53
3.4. Исследование условных вероятностей
В
настоящем
разделе
исследуем
характеристики
условных
распределений моментов восстановления простейшего потока (x) на
интервале (0,t), t>0 при двух весьма характерных условиях:

на интервале (0,t) произошло ровно k>0 восстановлений - событие
k
k 1
m 1
m 1
Bk (t )  {ξ (t )  k}  { ξ m  t ,  ξ m t};

на интервале (0,t) произошло по крайней мере k>0 восстановлений k
событие Ak (t )  {ξ (t )  k}  { ξ m  t} .
k 1
При дальнейших рассуждениях будем использовать следующие
k
обозначения: ηk   ξ m - момент восстановления с номером k, P{0=0=0}=1.
k 0
Условное распределение моментов восстановления.
ТЕОРЕМА 3.1. При любых xk, удовлетворяющих условиям
0x1x2....xnt,
(3.22)
для условного совместного распределения моментов восстановления
простейшего процесса справедливо равенство
x
x x
n
n! 1 2 n
P{ {ηm  xm }/ Bn (t )}  n   ...  dzn dzn 1 ...dz2 dz1 .
t 0 z1 zn1
m 1
(3.23)
ДОКАЗАТЕЛЬСТВО. При доказательстве воспользуемся определением 3.1.
Для вероятности произведения событий имеем
n
{ηm  xm }Bn (t )}  P{η1  x1 , η2  x2 ,..., ηn  xn , ηn 1  t} 
P{
m 1
x1 x2  y1

0
x3 
2
 ys
xn 
s 1


0
s 1
...
0
0

λn e
λ
n
 ys
s 1
e
 λ (t 
n
 ys )
s 1
dy1dy2 ...dyn 
0
x1 x2  y1

n1
 ys

0
x3 
2
 ys
xn 
s 1

n1
 ys
s 1
...
0

λn e  λt dy1dy2 ...dyn .
0
В последнем интеграле сделаем замену переменных интегрирования
k
zk   ym , k  1, 2,..., n.
m 1
54
Тогда получаем равенство
n
P{
m 1
x1 x2
xn
0 z1
zn1
{ηm  xm }Bn (t )}  λn e  λt   ...  dzn dzn 1 ...dz2 dz1 .
(3.24)
С учетом равенства (3.1) и определения условной вероятности из (3.24)
получаем требуемое соотношение
n
{ηm  xm }Bn (t )}
P{
n
{ηm  xm }/ Bn (t )} 
P{
m 1
P{Bn (t )}
m 1
x x
x
n! 1 2 n
 n   ...  dzn dzn 1 ...dz2 dz1 . *
t 0 z1 zn1
Равенство (3.23) показывает, что совместное условное распределение
имеет плотность, которая равна константе
n!
в области (3.22) и равна нулю
tn
вне этой области. Отсюда справедливо очевидное равенство
t t
t
0 z1
zn1
  ...  dzn dzn1...dz2 dz1 
tn
.
n!
Далее заметим, что такую совместную плотность распределения имеют
члены вариационного ряда в выборке объема n, распределенной равномерно
на [0,t]. Это связывает порядковые статистики и простейший поток. Более
подробно об этом в [9].
СЛЕДСТВИЕ 3.1. Для одномерного условного распределения при kn и
0<xt справедливо равенство
P{ηk  x / Bn (t )} 
n!
x
Bk ,n k 1 ( ),
(n  k )!(k  1)!
t
(3.25)
где через Bk,m(y) обозначена неполная бета-функция, 0y1
y
Bk ,m ( y)   z k 1 (1  z )m1 dz.
0
ДОКАЗАТЕЛЬСТВО. Равенство (3.25) получается интегрированием
плотности
n!
по области {(z1,z2,...,zn):0z1z2...zkx,zkzk+1...znt}. Или,
tn
если воспользоваться формулой (1.6) – распределение Эрланга случайной
величины k и равенством (3.1), ту же самую формулу получаем из равенства
55
x
P{ηk  x, Bn (t )}  P{ηk  x, ηn  t , ηn 1  t}  
0
λ( λy ) k 1  λy λn  k (t  y ) n  k  λ (t  y )
e
e
dy 
(k  1)!
(n  k )!
λ
( λt ) n e  λt
x
 λt
k 1
nk

e  y (t  y ) dy 
Bk ,n  k 1 ( ).
(n  k )!(k  1)!
(n  k )!(k  1)!
t
0
x
n
Из определения условной вероятности получаем равенство (3.25). *
Замечание.
При
вычислении
распределения
(3.25)
можно
воспользоваться различными представлениями неполной бета функции при
целочисленных
параметрах
В
[10].
рассматриваемом
случае
можно
использовать равенство
x
(k  1)!(n  k )!
1
Bk ,n  k 1 ( ) 
[1  n
t
n!
t
k 1
 Cnm x m (t  x)nm ] 
m 0
(k  1)!(n  k )! 1
n!
tn
n
C
mk
m
n
x m (t  x) n  m .
Тогда для условного распределения (3.25) получаем равенство при 0  x  t
P{ηk  x / Bn (t )}  1 
1
tn
k 1
 Cnm x m (t  x)nm 
m 0
1
tn
n
C
mk
m
n
x m (t  x) n m .
(3.26)
Последнее равенство можно трактовать следующим образом. Пусть
заданы n независимых случайных величин, равномерно распределенных на
[0,t]. Тогда условная вероятность P{ηk  x / Bn (t )} совпадает с вероятностью
того, что, по крайней мере, k, 0  k  n , этих случайных величин, меньше x,
0  x  t.
ТЕОРЕМА 3.2. При любых 0xt<
и целых n и k, для которых
1kn<,
для условного распределения k-го момента восстановления при условии, что
на интервале (0,t) произошло, по крайней мере, n восстановлений,
справедливо равенство

P{ηk  x / An (t )} 
ДОКАЗАТЕЛЬСТВО.
В
 e λt
s n
ранее
( λt ) s
s!
x
x
( ) m (1  ) s m
t
t
mk
.
s
n 1
( λt )
 λt
1 e 
s!
s 0
s
C
m
s
принятых
обозначениях
(3.27)
событие
An (t )  {ξ (t )  n} представляется как сумма бесконечного числа несовместных
56
событий Bs (t )  {ξ (t )  s}, s  n. Следовательно, с учетом (3.26) получаем
равенство
P{ηk  x, An (t )}  P{ηk  x,

sn


s n
s n
Bs (t )}   P{ηk  x, Bs (t )}   P{ηk  x / Bs (t )}P{Bs (t )} 
  e  λt
s n

( λt )
s!
s
s
C
mk
m
s
x
x
( ) m (1  ) s m .
t
t
Разделив последнее равенство на вероятность условия (1.6), получаем
равенство (3.27).*
57
3.5. Исследование условных и безусловных математических ожиданий
Исследуем математические ожидания при условии, что на интервале
(0,t) произошло ровно n восстановлений, то есть реализовалось событие
n
n 1
m 1
m 1
Bn (t )  {ξ (t )  n}  { ξ m  t ,  ξ m t}.
Из
условного
распределения
(3.25)
случайной
величины
k
ηk   ξ m получаем условное математическое ожидание для 0<kn
m 1
1
M (ηk / Bn (t )) 
n!
z
z
z
z ( ) k 1 (1  ) n  k d ( ) 

(k  1)!(n  k )! 0 t
t
t
1
(3.28)
n!
n !t
kt

ty k (1  y ) n  k dy 
Bk 1,n  k 1 (1) 
,

(k  1)!(n  k )! 0
(k  1)!(n  k )!
n 1
где обозначена через Bk,n(1) полная бета-функция и использована связь гамма
и бета-функций для целых параметров k и n
Bk ,m (1) 
Γ(k )Γ(m) (k  1)!(m  1)!

.
Γ(k  m)
(k  m  1)!
k
По определению ηk   ξ m , потому из (3.28) следует
m 1
M (ξ k / Bn (t ))  M (ηk  ηk 1 / Bn (t ))  M (ηk / Bn (t ))  M (ηk 1 / Bn (t )) 
t
, (3.29)
n1
то есть получили, что условное математическое ожидание интервалов между
соседними моментами восстановления для простейшего потока не зависит от
номера этого интервала.
Аналогичный результат получим, если воспользуемся для вычисления
условного
математического
MI A (ξ )  MI (ξ  A)  P{ξ  A}
для
ожидания
M(k/Bn(t)),
математического
kn,
равенством
ожидания
индикатора
некоторого события (математическое приложение 6)
Рассмотрим траектории простейшего потока (x,ω), для которых на
интервале (0,t) произошло ровно n событий (реализовалось событие Bn(t)).
58
Очевидно, из определения индикатора следует, что индикатор I(ξ(x,ω)=k-1),
0≤x<t, есть случайная функция, равная единице в тех точках x, для которых
ξ(x,ω)=k-1, и равная нулю в тех точках x, для которых ξ(x,ω)≠k-1.
t
Следовательно, ξ k   I (ξ ( x, ω)  k  1)dx . Тогда имеем
0
t
M (ξ k / Bn (t ))  M (  I (ξ ( x, ω)  k  1) dx / Bn (t )) 
0
t
t
0
0
  M ( I (ξ ( x, ω)  k  1) / Bn (t )) dx   P{ξ ( x, ω)  k  1 / Bn (t )}dx.
В
выше
приведенной
цепочке
равенств
(3.30)
перестановка
порядка
интегрирования законна в силу абсолютной сходимости интегралов.
Далее вычислим условную вероятность P{ξ ( x, ω)  k  1 / Bn (t )} . Из (3.1) и
независимости приращений простейшего потока получаем
( λx) k 1  λx ( λ(t  x)) n k 1  λ (t  x )
e
e
(k  1)!
(n  k  1)!
P{ξ ( x, ω)  k  1 / Bn (t )} 
.
( λt )n  λt
e
n!
(3.31)
Интегрируя функцию (3.31), получаем соотношение (3.29).
Представляет интерес и безусловное математическое ожидание
времени, проведенного процессом (x) в состоянии k, k0 на периоде (0,t).
Обозначим через ξ k (t ) время, проведенное Пуассоновским процессом в
состоянии
k-1,
k>0
на
временном
интервале
(0,t).
Из
равенства
t
ξ k (t )   I (ξ ( x, ω)  k  1)dx получаем
0
t
t
Mξ k (t )  M (  I (ξ ( x, ω)  k  1)dx)   M ( I (ξ ( x, ω)  k  1))dx 
0
0
k 1
k 1
( λx)
1
( λt ) s
  P{ξ ( x, ω)  k  1}dx  
e  λx dx  [1  e  λt 
].
(
k

1
)!
λ
s
!
s

0
0
0
t
t
Равенство (3.32) позволяет получить очевидное тождество

k 1
( λt ) s
[1  e 
]


s!
k 1
s 0
Mξk (t ) 
 t,

λ
k 1
 λt
59
(3.32)
так как числитель есть функция восстановления Пуассоновского процесса.
Исследуем математические ожидания при условии, что на интервале
(0,t) произошло по крайней мере n восстановлений, то есть реализовалось
n
событие An (t )  {ξ (t )  n}  { ξ m  t}.
m 1
Вычислим условное математическое ожидание M (ηk / An (t )), 0<kn. Для
решения этой задачи можно воспользоваться равенством (3.27), так как
t
M (ηk / An (t ))   xdP{ηk  x / An (t )} .
0
С
другой
стороны,
n
n 1
m 1
m 1
учитывая
Bn (t )  {ξ (t )  n}  { ξ m  t ,  ξ m t}
связь
между
событиями
n
An (t )  {ξ (t )  n}  { ξ m  t},
и
можно
m 1
непосредственно перейти к вычислению математического ожидания. Тогда
получим

t
t
M (ηk / An (t ))   xdP{ηk  x / An (t )}    xdP{ηk  x / Bs (t )}P{Bs (t ) / An (t )}.
s n 0
0
Равенство (3.28) определяет условное математическое ожидание
t
M (ηk / Bn (t ))   xdP{ηk  x / Bn (t )} 
0
kt
,
n1
а условная вероятность P{Bs (t ) / An (t )} для простейшего потока при s<n равна
( λt ) s  λt
e
s!
P{Bs (t ) / An (t )} 
.
n 1
( λt ) m  λt
1 
e
m 0 m !
Таким образом, для искомого условного математического ожидания
получаем равенство для k  n
n
( λt ) m  λt
( λt ) s  λt
k
[
1

e ]
e


kt
s
!
m 0 m !
M (ηk / An (t ))  

.
n 1
n 1
( λt ) m  λt
( λt ) m  λt
s n s  1
1 
e
λ[1  
e ]
m 0 m !
m 0 m !
Из равенства (3.33) следует для k  n
60
(3.33)
( λt ) m  λt
[1  
e ]
m 0 m !
M (ξ k / An (t )) 
,
n 1
( λt ) m  λt
λ[1  
e ]
m 0 m !
n
(3.34)
то есть получили, что условное математическое ожидание интервалов между
соседними моментами восстановления для простейшего потока также не
зависит от номера этого интервала.
В заключение раздела приведем выражения для математических
ожиданий (безусловного и условного) интегралов от пуассоновского
процесса в конечных пределах.
Прежде всего заметим, что траектории ξ ( x, ω) простейшего потока суть
ступенчатые неубывающие функции. Следовательно, если использовать
ранее принятое обозначение ξ k (t ) - время, проведенное Пуассоновским
процессом в состоянии k-1, k>0 на временном интервале (0,t), то по
определению интеграла получаем равенство
t

0
k 1
 ξ ( x, ω)dx   (k  1)ξk (t ).
При
вычислении
(3.35)
математического
ожидания
интеграла
(3.35)
используем соотношение (3.32) и получим
t

0
k 1
(k  1)  ( λt ) m  λt λt 2
e 
.

λ mk m !
2
k 1

M  ξ ( x, ω)dx   (k  1) Mξ k (t ) 
(3.36)
При вычислении условного математического ожидания интеграла
(3.35)
при
условии,
что
на
интервале
(0,t)
произошло
ровно
n
восстановлений, используем соотношение (3.29) и получим
t
n
n
0
k 1
k 1
M (  ξ ( x, ω)dx / Bn (t ))   ( k  1) M (ξ k (t ) / Bn (t ))   ( k  1)
поскольку M (ξk (t ) / Bn (t ))  0 при k>n.
61
t
nt
 ,
n1 2
(3.37)
ГЛАВА IV. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ
ВРЕМЕНЕМ И ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ
4.1. Определение марковского процесса
Марковский случайный процесс, как и произвольный случайный
процесс, должен задаваться семейством согласованных конечномерных
распределений. Однако, в силу того, что он обладает специфическим
марковским свойством, его можно задать частными характеристиками переходными вероятностями.
Переходим к формальному определению.
ОПРЕДЕЛЕНИЕ 4.1. Случайный процесс (t) с непрерывным временем
и дискретным множеством состояний Е (конечным или
t  R   [0, )
счетным) называется марковским, если для любого целого n>0, любого
набора моментов 0  t1  t2  ...  tn  tn1  
и любого набора состояний
(e1 , e2 ,..., en , en 1 ), ek  E, k  1, 2,..., n, n  1 для условных вероятностей справедливо
равенство
P{ξ (tn1 )  en1 / ξ (t1 )  e1 , ξ (t2 )  e2 ,..., ξ (tn )  en }  P{ξ (tn1 )  en1 / ξ (tn )  en } . (4.1)
Марковское свойство (4.1) позволяет доказать при k>0 равенство
P{ξ (tn  k )  en  k , ξ (tn  k 1 )  en k 1 ,..., ξ (tn 1 )  en 1 / ξ (t1 )  e1 , ξ (t2 )  e2 ,..., ξ (tn )  en } 
 P{ξ (tn  k )  en  k , ξ (tn  k 1 )  en k 1 ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }.
(4.2)
В самом деле, с учетом (4.1) получаем из определения условной
вероятности
P{ξ (tn  k )  en  k , ξ (tn  k 1 )  en  k 1 ,..., ξ (tn 1 )  en 1 / ξ (t1 )  e1 , ξ (t2 )  e2 ,..., ξ (tn )  en } 
 P{ξ (tn  k )  en  k / ξ (tn  k 1 )  en k 1}...P{ξ (tn 1 )  en 1 / ξ (tn )  en } 
 P{ξ (tn  k )  en  k , ξ (tn  k 1 )  en  k 1 ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }.
Таким образом, равенство (4.2) доказано. При k=1 равенства (4.1) и
(4.2) совпадают.
Из равенства (4.2) по определению условной вероятности легко
получаем при 0<n<k соотношение
62
P{ξ (tk )  ek , ξ (tk 1 )  ek 1 ,..., ξ (t1 )  e1 / ξ (tn )  en } 
 P{ξ (tk )  ek ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }P{ξ (t1 )  e1 ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }.
(4.3)
Докажем обратное, что из равенства (4.3) следует равенства (4.2) и
(4.1). Из определения условной вероятности получаем при выполнении (4.3).
P{ξ (tk )  ek ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }P{ξ (t1 )  e1 ,..., ξ (tn 1 )  en 1 / ξ (tn )  en } 
 P{ξ (tk )  ek , ξ (tk 1 )  ek 1 ,..., ξ (t1 )  e1 / ξ (tn )  en } 

P{ξ (tk )  ek , ξ (tk 1 )  ek 1 ,..., ξ (t1 )  e1}

P{ξ (tn )  en }
 P{ξ (tk )  ek ,..., ξ (tn 1 )  en 1 / ξ (t1 )  e1 ,..., ξ (tn )  en }P{ξ (t1 )  e1 ,..., ξ (tn 1 )  en 1 / ξ (tn )  en }.
Первое равенство выполняется в силу предположения справедливости (4.3),
последующие равенства следуют из определения условной вероятности.
Таким образом, получаем равенство
P{ξ (tk )  ek ,..., ξ (tn1 )  en1 / ξ (tn )  en }  P{ξ (tk )  ek ,..., ξ (tn1 )  en1 / ξ (t1 )  e1 ,..., ξ (tn )  en},
утверждающее, что из соотношения (4.3) следует (4.2).
Получили доказательство эквивалентности равенств (4.1) и (4.3).
Другими словами, марковское свойство можно определять как равенство
(4.3).
Если считать момент tn - настоящим моментом, состояние en настоящее значение процесса, то равенство (4.3) можно интерпретировать
как независимость прошлого и будущего течения процесса при известном
настоящем. Это свойство часто считают определением марковского
свойства случайного процесса. Точный математический смысл его выражает
равенство (4.3).
Замечание 1. Отметим, что все введенные выше условные вероятности
и полученные равенства предполагали, вероятности условий не равны нулю.
Замечание 2. При исследовании процессов Маркова вводится понятие
строго марковского свойства. Если при введении марковского свойства
процесса
(см. равенство (4.3)) настоящее определялось произвольным
неслучайным моментом t и значением процесса в этот момент времени ξ (t ) ,
то для выполнения строго марковского свойства настоящее определяется
значением процесса в случайный момент времени.
63
Не ограничивая общности, в дальнейшем множество состояний Е
будем считать множеством положительных целых чисел.
В правой части равенства (4.1) стоит функция P{(t)=j(x)=i}, t>x,
которая называется переходной вероятностью. Эта функция в общем случае
зависит
от
параметров
x,t[0,),
и
i,jE.
Обозначим
переходную
вероятность через
pij ( x, t )  P{ξ (t )  j / ξ ( x)  i}.
ОПРЕДЕЛЕНИЕ 4.2. Марковский процесс называется однородным,
если переходная вероятность зависит от разности аргументов t и x
pij ( x, t )  P{ξ (t )  j / ξ ( x)  i}  pij (t  x).
(4.4)
Из определения переходных вероятностей вытекают их свойства при
0<t<
 0  pij (t )  1;

p
jE
ij
(t )  1.
При конечном множестве состояний Е последнее свойство тривиально,
при бесконечном множестве состояний Е последнее свойство означает, что за
конечное время процесс с вероятностью единица перейдет в некоторое
конечное состояние.
В дальнейшем будем также предполагать непрерывность вероятностей
pij (t ) при t>0 и равенства
limt 0 pij (t )  1, если i=j, limt 0 pij (t )  0, если ij.
(4.5)
Из марковского свойства и определения переходных вероятностей
следует, что для однородных марковских процессов имеет место равенство
при t>0 и x>0
pij ( x  t )   pik ( x) pkj (t ).
(4.6)
kE
Свойство (4.6) называют уравнениями Колмогорова-Чепмена.
Если задать распределение вероятностей состояний марковского
процесса в начальный (нулевой) момент времени
64
P{ξ (0 )  j}  p ( j )  0, j  E ,
 p( j )  1,
(4.7)
jE
то для одномерного распределения по формуле полной вероятности
получаем
pi (t )  P{ξ (t )  i}   p(k ) pki (t ).
kE
Покажем, что задание начального распределения (4.7) и семейства
матриц переходных вероятностей
P(t )  { pij (t )}  {P{ξ (t )  j / ξ (0)  i}
позволяет
построить
согласованные
конечномерные
(4.8)
распределения
марковского однородного случайного процесса (t).
По формуле полной вероятности для любого n>0 и любых наборов
0  t1  t2  ...  tn  , ik  E, k  1, 2,..., n
с
учетом
марковского
свойства
и
однородности получаем
P{ξ (t1 )  i1 , ξ (t2 )  i2 ,..., ξ (tn )  in }   p(i) pii1 (t1 ) pi1i2 (t2  t1 )... pin1in (tn  tn 1 ). (4.9)
iE
Равенство (4.9) доказывает высказанное утверждение и, следовательно,
однородный марковский процесс задается начальным распределением (4.7) и
семейством матриц переходных вероятностей (4.8).
4.2. Уравнения Колмогорова
Из перечисленных в предыдущем параграфе свойств переходных
вероятностей следуют теоремы о существовании интенсивностей перехода.
Сформулируем эти теоремы без доказательства (доказательства можно
найти в [9,11]).
ТЕОРЕМА 4.1. При каждом iЕ предел Λi   pii' (0)  limt 0
1  pii (t )
t
существует, но может быть бесконечным.
ТЕОРЕМА 4.2. При любых i,jЕ, ij, предел λij  pij' (0)  limt 0
существует и конечен.
65
pij (t )
t
Для конечного множества состояний E очевидно равенство Λ i   λij .
jE
Для счетного множества состояний E справедливо неравенство
Λi   λij .
jE
В самом деле, из свойств переходных вероятностей следует
p
ij
j i
(t )  1  pii (t )
и для любого N< справедливо неравенство

j  i ,i 1,..., N
pij (t )  1  pii (t ).
Разделив обе части неравенства на t и устремив t к нулю, получим
Λi 

j  i , j 1,..., N
λij .
Поскольку N произвольно, а все слагаемые неотрицательны, получаем
требуемое утверждение.
Вывод уравнений Колмогорова. Для конечного множества состояний Е
уравнения Колмогорова получаются по формулы полной вероятности
и
свойств переходных вероятностей (разложение в окрестности нуля) при 0
pii (Δ)  1  Λi Δ  o(Δ) ,
pij (t )  λij Δ  o(Δ), i  j.
(4.10)
Для конечного множества состояний Е=(1,2,...,N) из (4.6) получаем
pij (t  Δ)   pik (t ) pkj (Δ)   pik (t ) λkj Δ  pij (t )(1  Λ j Δ)  o(Δ)
kE
(4.11)
k j
или после элементарных преобразований и перехода к пределу при 0
pij' (t )   pik (t ) λkj  pij (t )Λ j .
(4.12)
k j
Система дифференциальных уравнений (4.12) называется
прямыми
уравнениями Колмогорова.
Исходя из (4.6), равенство (4.11) можно записать иначе
pij (Δ  x)   pik (Δ) pkj ( x)   λik pkj ( x)Δ  pij ( x)(1  Λi Δ)  o(Δ)
kE
k i
и после аналогичных элементарных преобразований получаем систему
обратных уравнений Колмогорова
66
pij' ( x)   λik pkj ( x)  Λi pij ( x).
(4.13)
k i
Для вероятностей состояний (одномерного распределения)
p j (t )  P{ξ (t )  j}   p(k ) pkj (t )
kE
по формуле полной вероятности получаем соотношение
p j (t  Δ)   pk (t ) pkj (Δ)  p j (t ) p jj (Δ).
k j
Если использовать разложение переходных вероятностей в окрестности
нуля, то получим
p j (t  Δ)   λkj pk (t )Δ  p j (t )[1  Λ j Δ].
k j
После
элементарных
дифференциальных
преобразований
уравнений
для
0
при
вероятностей
получаем
состояний
систему
процесса
Маркова
p 'j (t )   λkj pk (t )  Λ j p j (t ).
(4.14)
k j
Заметим,
решение
системы
(4.14)
при
начальном
условии
pi (0)  p(i)  1, pk (0)  p(k )  0, k  i совпадает с переходной вероятностью pij (t ) ,
то есть совпадает с решением системы уравнений (4.12).
Для счетного числа состояний необходимым и достаточным условием
справедливости обратных уравнений Колмогорова (4.13) являются условия
Λ i   λij   при всех iE.
(4.15)
j i
Доказательство этого утверждения дано в [9, 11].
В
дальнейших
рассуждениях
предполагаем
условия
(4.15)
выполненными.
Относительно прямых уравнений Колмогорова ситуация значительно
сложнее, поскольку можно построить пример марковского процесса, для
которого условия (4.15) выполняются, а равенства (4.12) не выполняются
[11]. Поэтому в дальнейшем справедливость прямых уравнений Колмогорова
67
для
процесса
Маркова
со
счетным
множеством
состояний
будет
постулироваться.
4.3. Вложенная цепь и характеристики на периоде между соседними
моментами изменения состояний
В соответствии с выводами предыдущего раздела задаем матрицу
интенсивностей перехода ij при i,jE, ij и начальное распределение
вероятностей состояний, т.е. задаем некоторый однородный марковский
процесс (t).
Обозначим
0  t0  t1  t2  ...  tn1  tn  ,
через
неубывающую
последовательность случайных соседних моментов изменения состояний
марковского процесса (траектории процесса (t) считаем непрерывными
справа, (tn-0) (tn)).
В
дальнейшем
постоянно
будем
придерживаться
следующих
обозначений
ξ (tn )  ξn , tn  tn1  θn , n  1, θ0  0.
(4.16)
Так как траектории марковского процесса с дискретным множеством
состояний есть ступенчатые функции, то в интервале [tn,tn+1) процесс не
меняет состояний и принимает одно значение n, величина n есть длина
этого интервала.
Вычислим для пары i,jE, ij и t>0 условную вероятность
Qij (t )  P{ξn 1  j, θn 1  t / ξ n  i}  P{ξ1  j , θ1  t / ξ0  i} .
Равенство
справедливо
в
силу
однородности
(4.17)
исследуемого
марковского процесса (независимость от числа изменений состояния) и
строго марковского свойства процесса (t), так как моменты изменения
состояний процесса tn, n0 являются марковскими моментами.
Замечание.
Понятие
строго
марковского
свойства,
марковских
моментов - моментов остановки и свойства строгой марковости марковского
68
процесса с дискретным множеством состояний дано в математическом
приложении 7.
Для решения
этой
задачи
воспользуемся
методом построения
поглощающего экрана. Зафиксируем произвольное состояние iE и на том
же вероятностном пространстве, на котором определен процесс (t),
построим другой однородный марковский процесс 1(t) с тем же начальным
распределением и интенсивностями перехода kj, которые определяются
равенствами при jE
 λ , k  i,
μkj   ij
 0, k  i.
(4.18)
Попав в состояние ki, процесс 1(t) из него не выйдет (выход может
произойти с вероятностью ноль, в состояниях ki построен поглощающий
экран). Тогда для подмножеств элементарных событий справедливо
равенство
{ω : ξ1  j, θ1  t, ξ0  i}  {ω : ξ1 (t )  j, ξ1 (0)  i},
поэтому при ij
Qij (t )  P{ξ1  j , θ1  t / ξ0  i}  P{ξ1 (t )  j / ξ1 (0)  i}.
(4.19)
Обозначим переходные вероятности процесса 1(t) через
qij (t )  P{ξ1 (t )  j / ξ1 (0)  i}.
Для этих вероятностей выписываем прямые уравнения Колмогорова
при k,j,iE, Λ i   λij
j i
qij' (t )  λij qii (t ),
qii' (t )   Λ i qii (t ),
(4.20)
q (t )  0, k  i,
'
kj
решение которых при начальных условиях qkk(0)=1, qkj(0)=0, kj имеет вид
qij (t ) 
λij
Λi
(1  e Λit ), i  j , qii (t )  e  Λit , qkk (t )  1, qkj (t )  0, k  i.
Следовательно, при ij
69
(4.21)
qij (t ) 
λij
Λi
(1  e Λit ), i  j.
(4.22)
В дальнейшем для марковского процесса полагаем ii=0 и Qii(t)=0.
Аналогичный результат (равенство (4.22)) получим, если используем
обратные уравнения Колмогорова.
Если сравнить равенство (4.22) с равенством (1.11), то очевидно
совпадение. Поэтому, учитывая условия, при которых получена формула
(1.11), эволюцию марковского процесса можно трактовать следующим
образом: в состоянии i реализуются некоторые «операции» с номерами jE,
ij, длительности которых независимые экспоненциально распределенные
случайные величины с параметрами ij. Следующий переход осуществится в
состояние
j,
соответствующее
номеру
длительность
перехода
длительностью,
«операции»
совпадает
с
минимальной
с
минимумом
длительностей этих операций (отметим, что такая интерпретация успешно
использовалась
в
[3]
при
описании
марковских
систем
массового
обслуживания).
Из определения (4.17) и равенства (4.22) следуют равенства при любом
n0
P{θn 1  t / ξ n  i}   Qij (t ) 1  e  Λit , t  0,
(4.23)
jE
mi  M (θn 1 / ξ n  i ) 
1
,
Λi
limt Qij (t )  pij  P{ξn 1  j / ξn  i} 
Равенство
(4.23)
определяет
(4.24)
λij
Λi
функцию
(4.25)
.
распределения
непрерывного пребывания марковского процесса в состоянии
времени
i, точнее,
распределение при условии, что это состояние равно i. Это условное
распределение экспоненциальное с параметром i. Если вспомнить свойство
отсутствия последействия экспоненциального распределения (см. параграф
70
1.1.), то полученный результат естественно вытекает из марковского
свойства изучаемых процессов.
Равенство (4.24) определяет условное математическое ожидание
времени непрерывного пребывания марковского процесса в состоянии i.
Комментируя равенство (4.25), заметим, что последовательность
(tn)=n, n0 определяет эволюцию (смену) состояний марковского процесса.
В
силу
строго
марковского
свойства
изучаемого
процесса
эта
последовательность образует цепь Маркова. В самом деле, если n-1
характеризует прошлое, n определяет настоящее, а n+1 - будущее течение
процесса, то очевидно равенство
P{ξn1  i, ξn1  j / ξn  k}  P{ξn1  j / ξn  k}P{ξn 1  i / ξn  k}.
что и доказывает марковское свойство последовательности (tn)=n.
Последовательность (tn)=n называется вложенной марковской цепью. Тогда
равенство (4.25) есть выражение переходных вероятностей для вложенной
цепи Маркова через интенсивности перехода марковского процесса. Эта цепь
имеет матрицу переходных вероятностей, у которой диагональные элементы
равны нулю.
4.4. Асимптотический анализ марковских процессов
Асимптотический анализ марковских процессов с непрерывным
временем и дискретным множеством состояний состоит в исследовании
характеристик процесса при t. Отметим, что при этом исследовании
определяющую роль будут играть асимптотические свойства вложенной
марковской цепи, а доказательства предельных теорем будут опираться на
предельные теоремы теории восстановления.
Зафиксируем j,iE и положим P{0=i}=1, т.е. считаем, что почти все
траектории процесса (t) выходят из состояния i. Введем в рассмотрение
момент времени  первого попадания процесса в состояние j
τ  τ (ω)  inf{t  0 : ξ (t )  j}
71
и обозначим Gij (t )  P{τ  t / ξ0  i}. В силу однородности процесса имеем
равенство при n>0
Gij (t )  P{τ  t / ξ0  i}  P{τ  t / ξ n  i}.
(4.26)
Если i=j, то последовательность соседних моментов попадания
процесса (t) в состояние j образует простой процесс восстановления. У этого
процесса восстановления
интервалы между соседними моментами
восстановления jj(k), k=1,2,...(k-номер интервала) имеют распределение
G jj (t )  P{ξ (jjk )  t}.
Доказательство этого факта (независимость случайных величин jj(k)
при различных k и независимость распределения P{jj(k)<t} от номера k, то
есть факт, что это последовательность одинаково распределенных величин)
следует из однородности процесса и того, что моменты изменения состояний
марковского процесса с дискретным множеством состояний являются
моментами остановки.
Заметим, что из определения интервалов jj(k), k>0 следует, что каждый
из них состоит из двух частей - периода, когда процесс (t) пребывает в
состоянии j, и периода, когда он пребывает в других состояниях.
Если ij, то последовательность соседних моментов попадания
процесса
(t)
в
состояние
j
образует
процесс
восстановления
с
запаздыванием, у которого интервалы между соседними моментами
восстановления
ij(1)=ij,
jj(k),
k=2,3,...(k-номер
интервала)
имеют
соответственно распределения
Gij (t )  P{ξij  t}, G jj (t )  P{ξ (jjk )  t}.
(4.27)
Это также следует из однородности и строго марковского свойства
исследуемого процесса.
Исследуем распределения Gij(t), i,jE. Прежде всего, заметим, что
интервалы ij представляют собой сумму случайного числа зависимых
(связанных
в
цепь
Маркова)
слагаемых,
распределенных
по
экспоненциальному закону с разными параметрами. Поэтому можно
72
утверждать, что распределения Gij(t), i,jE непрерывны. Далее по формуле
полной вероятности с учетом равенства (4.22) получаем (в тех же
обозначениях) систему интегральных уравнений
t
t
λij
0
k j 0
Λi
Gij (t )   dQij ( x)    Gkj (t  x)dQik ( x) 
t
(1  e  Λit )    λik Gkj (t  x)e  Λit dx. (4.28)
k j 0
Отметим, что при i=j первое слагаемое в (4.28) равно нулю в силу
принятого выше допущения ii=0 и равенства
Обозначим Gij (t )  1  Gij (t )  P{ξij  t}, тогда из (4.28) следует
t
Gij (t )  e  Λi t    λik Gkj (t  x)e  Λit dx.
(4.29)
k j 0
Таким образом, получили соотношения для функций распределения,
полностью определяющих введенные процессы восстановления.
Обозначим через

Tij  M (θ1 / ξ0  i, ξ1  j )  M (ξij )   Gij (t )dt
0
математическое ожидание времени перехода марковского процесса из
состояния i в состояние j. Интегрированием уравнений (4.29) получаем
систему алгебраических уравнений для математических ожиданий Tij
Tij 
λ
1
  ik Tkj
Λi k i Λi
или
Tij  mi   pik Tkj ,
(4.30)
k i
если использовать обозначения (4.24) и (4.25). Очевидно равенство (4.30)
можно получить, если использовать формулу полного математического
ожидания.
Предположим далее, что для вложенной цепи Маркова существует
стационарное распределение вероятностей состояний
(π1 , π 2 ,..., π n ,...), πi  0,
π
iE
i
 1.
Из определения стационарного распределения следуют равенства
73
π j   πi pij .
iE
Умножим равенство (4.30) на i и просуммируем по iE. Получаем
 π T  π m   π ( p T
iE
i ij
i
iE
i
iE
i
kE
ik kj
 pijT jj )
0   πi mi   πi pijT jj  πi mi  π jT jj .
или
iE
iE
iE
Отсюда получаем
T jj 
Соотношение
(4.30)
π m
i
iE
i
πj
(4.31)
.
связывает
математическое
ожидание
времени
возвращения марковского процесса со стационарными характеристиками
вложенной цепи и математическими ожиданиями времен непрерывного
пребывания в каждом состоянии.
Далее
исследуем
свойства
этих
процессов
восстановления
в
зависимости от свойств вложенных цепей Маркова.
ТЕОРЕМА 4.3. Если для марковского процесса с конечным или счетным
множеством состояний Е вложенная цепь Маркова имеет один класс
существенных состояний Е0 и это класс возвратных состояний, то при jE0
и
любых
iE
последовательность
{ij,
jj(k),
k=2,3,...
}
является
необрывающимся процессом восстановления, при jE\E0 и любых iE
последовательность {ij,jj(k),k=2,3,... } является обрывающимся процессом
восстановления.
ДОКАЗАТЕЛЬСТВО.
воспользоваться
восстановления»
Для
результатами,
и
показать,
доказательства
изложенными
что
в
теоремы
достаточно
главе
«Процессы
распределения
II
(4.27)
являются
собственными при jE0 и любых iE, и являются несобственными при
jE\E0 и любых iE. С другой стороны, если использовать теоремы 2.1. и 2.2.
главы II, то можно утверждать, что свойства обрыва или необрыва процесса
восстановления
однозначно
определяются
74
поведением
функции
восстановления при t. Если этот предел ограничен, то процесс
восстановления обрывается, если не ограничен, то процесс не обрывается.
Воспользуемся этим критерием для доказательства теоремы.
Обозначим
через
функцию
Hij(t)
восстановления
процесса
восстановления {ij,jj(k),k=2,3,...}. По определению, функция восстановления
есть
математическое
ожидание
числа
восстановлений
(попаданий
марковского процесса в состояние j), произошедших до момента t.
В дальнейших рассуждениях воспользуемся критериями возвратности
[12]. Если состояние j - невозвратно, jE\E0, то вероятность возвращения
fjj<1 и для любого iE вероятность fij1, где fij - вероятность рано или поздно
из состояния i попасть в состояние j. Это следует из определения
невозвратности [12]. Тогда математическое ожидание числа восстановлений
(возвращений) за бесконечное время ограничено и равно
limt  H ij (t ) 
fij
1  f jj
 ,
(4.32)
так как 0  f jj  1. Таким образом, при jE\E0 получаем обрывающийся
процесс восстановления.
Если сравнить формулы (4.32) и (2.25) принять обозначения
Gij  limt Gij (t ) , то при i=j получим равенство G jj  1  f jj  0, если состояние j -
невозвратно, jE\E0.
Если состояние j - возвратно, jE0, то вероятность возвращения fjj=1
по определению. В силу того, что вложенная цепь Маркова имеет один класс
существенных состояний и эти состояния возвратны, то для любого iE
вероятность fij=1. Поэтому математическое ожидание числа восстановлений
за бесконечное время неограниченно, Hij(t) при t. В этом случае
получаем необрывающийся процесс восстановления.*
Замечания.
1. Не представляет труда обобщить теорему на случай нескольких
существенных классов возвратных состояний (по-прежнему, при условии
75
отсутствия
существенных
невозвратных
состояний).
Если
начальное
состояние i и состояние j принадлежат одному классу, то процесс
восстановления будет необрывающимся. Если начальное состояние i
принадлежит
множеству
несущественных
состояний,
а
состояние
j
принадлежат некоторому классу существенных возвратных состояний, то
процесс восстановления будет необрывающимся, если вероятность перехода
из несущественных состояний в этот класс равна единице. Во всех остальных
случаях процесс будет обрываться.
2. Если вложенная цепь состоит из несущественных состояний и
поглощающих состояний или множества существенных невозвратных
состояний, то в этих случаях вложенные процессы восстановления будут
обрывающимися.
ТЕОРЕМА 4.4. Если для марковского процесса с счетным множеством
состояний Е вложенная цепь Маркова имеет один класс существенных
состояний Е0, это класс возвратных положительных состояний и
существует
для
(π1 , π 2 ,..., π n ,...), πi  0,
вложенной
π
iE
i
цепи
стационарное
распределение
вероятностей состояний, то существуют
1
пределы p j  limt  pij (t ) и для этих пределов справедливы соотношения
pj 
mjπ j
m π
kE
k
при jE0 и любых iE,
k
pj=0 при jE\E0 и любых iE.
(4.33)
ДОКАЗАТЕЛЬСТВО. Для фиксированных j,iE введем в рассмотрение
процесс восстановления {ij,jj(k),k=2,3,...}, функцию восстановления которого
обозначим через Hij(t). Функции распределения Gij(t)=P{ij<t} непрерывны в
нуле, поэтому, если учесть вероятностную интерпретацию для функции
восстановления, которая обсуждалась в разделе 2.2., то по формуле полной
вероятности можно записать
t
pij (t )   e
 Λ j (t  x )
dH ij ( x) при ij,
0
76
p jj (t )  e
 Λ jt
t
 e
 Λ j (t  x )
(4.34)
dH jj ( x).
0
Поскольку для рассматриваемого случая выполняются условия
теоремы 4.3, то при jE0 введенный процесс восстановления будет
необрывающимся. Поэтому можно воспользоваться узловой теоремой
восстановления (параграф 2.7.) и получить (нерешетчатость следует из
непрерывности распределений Gij(t), Tjj<
в силу положительности
состояния j)

p j  limt  pij (t )  limt  p jj (t ) 
e
Λ j x
dx

0
T jj
1
.
Λ jT jj
С учетом равенств (4.24) (4.31) получаем утверждение теоремы.
Если jE\E0, то в силу теоремы 4.3 процесс восстановления будет
обрывающимся и в силу следствия 2.1 (параграф 2.2) пределы (4.34) равны
нулю, так как B(t )  e  Λ t .*
j
Замечания.
1. Для марковской цепи с конечным множеством состояний все
существенные состояния положительно возвратны. Поэтому для такой
вложенной цепи условия теоремы 4.4. сводятся только к наличию одного
класса существенных сообщающихся состояний.
2. В условиях теоремы нет ограничений на периодичность вложенной
цепи Маркова. Цепь может быть периодичной, d>1.
Далее
p ( k )  0, k  E ,
заметим,
что
при
любом
начальном
распределении
 p(k )  1 , имеем равенство
kE
p j (t )   p(k ) pkj (t ).
kE
Поэтому из существования пределов p j  limt  pij (t ) следует существование
пределов p j  limt  p j (t ).
Теперь, используя уравнения Колмогорова (4.12) или (4.14), получим
уравнения для пределов p j  limt  pij (t ). Для этого в (4.12) перейдем к пределу
77
при t. Правая часть стремится к константе
p λ
k j
k kj
Λ j p j . Следовательно,
левая часть (4.12) также стремится к константе, причем в силу
ограниченности вероятности pij(t), 0 pij(t)1 при любых t>0, предел
производной может быть только нулем. Отсюда получаем систему
алгебраических
уравнений
для
предельных
вероятностей
состояний
марковского процесса
p λ
k j
k kj
Λ j p j  0, pi  0,
p
iE
i
 1.
(4.35)
4.5. Процессы размножения и гибели
Марковские процессы, получившие название процессов размножения и
гибели, определяются следующими равенствами для интенсивностей
перехода при k  0, 1,..., n,...
λk ,k 1  λk  0,


λkj   λk ,k 1  μk  0, μ0  0,
0, j  k  1, j  k  1.

(4.36)
Если множество состояний конечно E=(0,1,2,...,N), N<, то вводится
дополнительное условие λN , N 1  λN  0.
Из определения (4.36) следует, что вложенная цепь Маркова с
положительной вероятностью переходит только в соседние состояния и из
равенств (4.15) получаем
λk

 μ  λ , j  k  1,
k
k

pkj  
μk
 μ  λ , j  k  1,
 k k
 0, j  k  1, j  k  1.
(4.37)
Следовательно, почти все траектории такого марковского процесса
имеют одинаковые (единичные) скачки вверх или вниз. Множество
состояний образует один сообщающийся класс существенных состояний.
78
1. Анализ предельных характеристик.
Выясним условия на интенсивности k и k, обеспечивающие
возвратность и положительность состояний процесса размножения и
гибели. Для этого воспользуемся результатами, приведенными в [12]. В
наших обозначениях:
 необходимым и достаточным условием возвратности является условие
1
λθ
kE
  (расходимость ряда);
(4.38)
k k
 необходимым и достаточным условием положительности является
условие
θ
kE
k
 ,
(4.39)
где обозначено
 λ0 λ1 ...λk 1
, k  1,

θk   μ1 μ2 ...μk

1, k  0.

(4.40)
Если выполняются условия (4.38) и (4.39), то для процесса
размножения и гибели существуют предельные вероятности состояний pj.
Эти вероятности удовлетворяют системе (4.35), которая в рассматриваемом
случае принимает вид
p1 μ1  λ0 p0  0,
pk 1 μk 1  pk ( λk  μk )  λk 1 pk 1  0, k  1.
Обозначим zk  pk μk  λk 1 pk 1 , k  1. Тогда в новых обозначениях последняя
система примет следующий вид
0=z1=z2=...=zn=...,
что в свою очередь позволяет выписать рекуррентно решение
pk 
λk 1
pk 1 , k  1,
μk
pk  θk p0 , k  0,
79
если принять во внимание обозначения (4.40). Таким образом, с учетом
нормировки получаем выражения для предельных вероятностей состояний
марковского процесса размножения и гибели
pk 
θk
 θi
, k  0.
(4.41)
iE
Имея явные выражения предельных вероятностей (4.41), можно для
процессов размножения и гибели, не решая систему алгебраических
уравнений, получить выражение стационарных вероятностей вложенной
цепи Маркова. Объединяя равенства (4.33) и (4.40) и учитывая условие
нормировки, получаем после элементарных преобразований
πk 
θk
( λk  μk )
1
.
θi

iE ( λi  μi )
2. Анализ частных случаев.
В
качестве
частных
случаев
рассмотрим
процессы
чистого
размножения и процессы чистой гибели.
Процесс чистого размножения с интенсивностями перехода, не
зависящими от состояния, k=, k=0, подробно исследован в Главе III.
«Пуассоновский процесс (простейший поток)». Здесь заметим только, что
для процесса чистого размножения множество состояний вложенной цепи
Маркова образует класс несущественных состояний и поэтому интерес
представляют вероятностные характеристики на конечном интервале
времени.
Для процесса чистой гибели (t) зафиксируем n>0 и положим
P((0)=n)=1 и k=k, 0kn, k=0. Это значит, что рассматривается случай,
когда интенсивности перехода зависят от состояния, когда процесс (t)
стартует из состояния n>0, а состояние 0 является поглощающим.
Вычислим переходные вероятности этого однородного марковского
процесса
pks (t )  P{ξ (t )  s / ξ (0)  k}, n  s  k  0, t  0.
Очевидно,
что
эти
переходные вероятности отличны от нуля только для sk. Используя
80
уравнения Колмогорова для переходных вероятностей (4.12), при 0skn
докажем равенство
pks (t )  Cks (1  e  μt ) k  s e  sμt .
(4.42)
Доказательство проведем методом математической индукции. При s=k
имеем из (4.12) уравнение
pkk' (t )  kμpkk (t ),
единственным решением которого при начальном условии pkk(0)=1 является
функция pkk(t)=e-kt, то есть при s=k равенство (4.42) справедливо. Далее
предположим, что равенство (4.42) справедливо при s<k, и докажем его
справедливость при s-1. Из (4.12) получаем линейное неоднородное
дифференциальное уравнение
pk' ,s 1 (t )  (s  1) μpk ,s 1 (t )  sμpk ,s (t )  (s  1) μpk ,s 1 (t )  sμCks (1  e μt )k s e sμt
(4.43)
при начальном условии pk ,s 1 (0)  0. Единственным решением этого уравнения
является функция
pk ,s 1 (t )  Cks 1 (1  e μt )k s 1 e( s 1) μt ,
(4.44)
что доказывается непосредственной подстановкой функции (4.44) в уравнение
(4.43). Таким образом, доказано сформулированное утверждение (4.42).
Если учесть условие P((0)=n)=1, то получим равенство для
вероятностей состояний процесса чистой гибели при 0kn
P{ξ (t )  k / ξ (0)  n}  pn,k (t )  Cnk (1  e μt )nk e kμt
Равенству
(4.45)
можно
дать
интересную
(4.45)
интерпретацию.
Предположим, что в момент t=0 начинаются n операций, длительности
которых есть независимые случайные величины, распределенные по
экспоненциальному закону с параметром . Тогда равенство (4.45)
определяет вероятность того, что к моменту t ровно n-k операций закончатся,
а k операций продолжаются.
В
приложениях
часто
возникает
необходимость
вычислять
математическое ожидание интегралов от траекторий случайного процесса.
81
Для процесса чистой гибели (x) с интенсивностями переходов k=k,
0kn обозначим траектории (x,ω) при (0,t). Обозначим через k,t случайное
время, которое процесс (x) провел в состоянии k. Очевидно, из определения
индикатора следует, что индикатор I(ξ(x,ω)=k), 0≤x<t, есть случайная
функция, равная единице в тех точках x, для которых ξ(x,ω)=k, и равная нулю
t
в тех точках x, для которых ξ(x,ω)≠k. Следовательно, ξ k ,t   I (ξ ( x, ω)  k )dx .
0
Тогда в соответствии с определением математического ожидания
индикатора (математическое приложение 6) и равенством (4.45) имеем
t
t
M (ξ k ,t / ξ (0)  n)  M (  I (ξ ( x)  k )dx / ξ (0 )  n)   M ( I (ξ ( x, ω)  k ) / ξ (0 )  n)dx 
0
0
t
t
  P{ξ ( x)  k / ξ (0 )  n}dx   Cnk (1  e  μx ) n  k e  kμx dx 
0
0
nk
 C C
s 0
(4.46)
k
n
 ( s  k ) μt
(1) (1  e
(s  k ) μ
s
s
nk
)
1 n  k k s (1) s e  ( s  k ) μt

  Cn Cn  k
.
kμ s 0
(s  k ) μ
При выводе последнего равенства мы воспользовались соотношением
[13]
m
C
s 0
s
m
(1) s
1
 k .
( s  k ) kCk  m
Естественно, что при t имеем равенство
limt  M (ξ k ,t / ξ (0)  n) 
1
.
kμ
Теперь легко посчитать математическое ожидание интеграла от
случайного процесса чистой гибели (x).
Прежде всего, заметим, что траектории ξ ( x, ω) процесса чистой гибели
суть
ступенчатые
невозрастающие
функции.
использовать ранее принятое обозначение
ξ k ,t
Следовательно,
если
- время, проведенное
процессом гибели в состоянии k, k>0 на временном интервале (0,t), то по
определению интеграла получаем равенство
t

0
k 1
 ξ ( x, ω)dx   (k  1)ξk ,t .
82
(4.47)
При
вычислении
математического
ожидания
интеграла
(4.47)
используем соотношение (4.46) и получим
t
n
0
k 1
M (  ξ ( x, ω)dx / ξ (0)  n)   kM (ξ kt / ξ (0)  n) 
(4.48)
n n nk
(1) s ke ( s  k ) μt
   Cnk Cnsk
.
μ k 1 s 0
(s  k ) μ
Далее
исследуем
условные
математические
ожидания
времени
пребывания процесса (x) в фиксированном состоянии и интеграла от этого
процесса при условии, что реализовалось событие {ξ (t )  k , ξ (0)  n}, kn.
При ksn и 0xt имеем
P{ξ ( x)  s / ξ (t )  k , ξ (0 )  n} 
P{ξ (t )  k , ξ ( x)  s, ξ (0 )  n}

P{ξ (t )  k / ξ (0 )  n}
(4.49)
Cns (1  e  μx ) n  s e  sμxCsk (1  e  μ (t  x ) ) k  s e  kμ (t  x )

,
Cnk (1  e  μt ) n  k e  kμt
так как P{ξ (0)  n}  1.
При выводе формулы (4.49) мы использовали интерпретацию
равенства (4.44): к моменту x должны закончиться ровно n-s операций, и за
оставшееся время t-x должно закончиться еще ровно s-k (из оставшихся s
операций),
при
этом
используется
замечательное
свойство
экспоненциального распределения - оставшаяся длительность s операций, не
закончившихся к моменту x, имеет экспоненциальное распределения с тем
же параметром  .
Имея условные вероятности (4.49), интегрированием вычисляем
математическое ожидание времени ξ k ,t пребывания процесса в состоянии s,
k≤s≤n при условии, что реализовалось событие {ξ (t )  k , ξ (0)  n}.
t
M (ξ k ,t / ξ (t )  k , ξ (0 )  n)  M (  I (ξ ( x)  k )dx / ξ (t )  k , ξ (0 )  n)) 
0
t
t
0
0
  M ( I (ξ ( x, ω)  k ) / ξ (t )  k , ξ (0)  n) dx   P{ξ ( x)  k / ξ (t )  k , ξ (0)  n}dx.
83
(4.50)
При вычислении условного математического ожидания интеграла от
траектории случайного процесса используем равенство (4.47)
t
n
0
k 1
M (  ξ ( x, ω)dx / ξ (t )  k , ξ (0 )  n)   sM (ξ st / ξ (t )  k , ξ (0 )  n)),
(4.51)
что с учетом равенств (4.49) и (4.50) позволяет выразить искомые условные
математические ожидания через исходные параметры.
84
ГЛАВА V. ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ
5.1. Определение полумарковского случайного процесса
Рассматриваемые
в
настоящей
главе
полумарковские
процессы
являются более общим объектом, чем исследованные выше процессы
восстановления и процессы Маркова.
Начнем
с
определения
полумарковского
процесса
с
конечным
множеством состояний.
1. Однородный процесс марковского восстановления и полумарковское
ядро.
Математическим объектом исследования является полумарковский
процесс (t) с конечным множеством состояний E  {e1 , e2 ,..., eN }, N  . Без
ограничения общности множество Е можно отождествить с множеством
E  {1, 2,..., N}, N  .
Полумарковский процесс ξ (t ) определяется однородной двумерной
марковской цепью или однородным процессом марковского восстановления
(ξ n , θn ), n  0, ξ n  E , θn  R   [0, ).
Однородная марковская цепь
(5.1)
определяется переходными
(ξn , θn )
вероятностями, которые будем в дальнейшем называть полумарковским
ядром,
P{ξ n 1  j , θn 1  t / ξ n  i, θn  τ )  P{ξ n 1  j , θn 1  t / ξ n  i )  Qij (t ),
(5.2)
где n  1, i, j  E, t [0, ), и некоторым начальным распределением
pi  P{ξ0  i}  0, i  E ,
p
iE
i
 1,
(5.3)
кроме этого полагаем P{θ0  0}  1.
Отметим, что из однородности процесса марковского восстановления
следует
независимость
вероятностей
Qij (t )
от
n.
Из
включения
θn  R   [0, ), n  1 следует неотрицательность случайных величин θn , поэтому
Qij (t )  0 при t0.
85
Нетрудно заметить, что переходная вероятность (5.1) определяет
марковскую двумерную цепь специального вида, у которой будущее зависит
только от первой компоненты ξn и не зависит от второй компоненты 
(вероятность Qij (t ) не зависит от параметра 
Из определения (5.2) получаем условное распределение случайных
величин θn
Fi (t )  P{θn  t / ξ n 1  i}   P{ξ n  j , θn  t / ξ n 1  i}   Qij (t ),
jE
(5.4)
iE
в силу несовместности событий {ξn  j} при различных j.
Для любой пары i, j  E справедливо неравенство Qij (t )  Fi (t ). Поэтому в
силу теоремы Радона-Никодима [12] существует функция F j ( x, i ) , для
t
которой выполняется соотношение Qij (t )   Fj ( x, i)dFi ( x) . Функцию F j ( x, i )
0
можно трактовать как условную вероятность
Fj ( x, i )  P{ξ n 1  j / ξ n  i, θn 1  x}.
(5.5)
Из марковского свойства последовательности (ξn , θn ), n  0 для K>0 и
любых наборов { jk , tk }, k  1, 2,..., K , jk  E , tk  R 
следует справедливость
равенства
K
K
P{ {ξ k  jk , θk  tk }}   pi Qij1 (t1 ) Q jk 1 , jk (tk ),
iE
k 1
k 2
K
K
k 1
k 1
P{ {ξ k  jk , θk  tk }/ ξ0  j0 }   Q jk 1 , jk (tk ),
(5.6)
K
P{ {ξ k  jk , θk  tk }/ ξ n  jn , θn  tn } 
k 0
n 1
K
k 0
k  n 1
 P{ {ξ k  jk , θk  tk }/ ξ n  jn , θn  tn }P{
{ξ k  jk , θk  tk }/ ξ n  jn , θn  t n }.
Последнее равенство формулируется как свойство марковских
процессов с дискретным временем: при известном настоящем для
марковского процесса с дискретным временем прошлое и будущее
независимы.
При t из определения (5.2) получаем матрицу
86
pij  limt Qij (t )  P{ξ n 1  j / ξ n  i}, i, j  E.
Для
i, j  E ,
для
которых pij  0,
можно
(5.7)
определить
условную
вероятность
Fij (t )  P{θn  t / ξ n  j , ξ n 1  i ) 
Qij (t )
pij
(5.8)
,
и в новых обозначениях далее использовать равенство
Qij (t )  pij Fij (t ).
Если для некоторых
(5.9)
справедливо равенство
i, j  E
pij  0,
то
отношение (5.8) не определено и условное распределение Fij (t ) нужно
доопределить, например, можно считать его вырожденным распределением.
Таким образом, приходим к выводу.
Процесс
марковского
восстановления
можно
задавать
тремя
вложенной
цепи
способами:
1.
Заданием полумарковского ядра Qij (t ) ;
2.
Заданием
матрицы
переходных
вероятностей
Маркова P  { pij } и распределениями Fij (t )  P{θn  t / ξn  j, ξn 1  i), i, j  E , t  0;
3.
Заданием распределений
Fi (t )  P{θn  t / ξn 1  i}, и Fj ( x, i )  P{ξ n 1  j / ξ n  i, θn 1  x}, i, j  E , x  0, t  0.
Отметим, что во всех перечисленных случаях необходимо задавать
начальное
распределение
первой
компоненты
процесса
марковского
восстановления.
Полумарковское
i, j  E, x  0 следующими
ядро
Qij (t ) обладает
свойствами,
при
вытекающими
вероятностей:
 0  Qij (t )  1, Qij (0)  0 в силу того, что случайные величины n
неотрицательные;
 Qij (t ) - неубывающие по x, непрерывные слева функции;
(5.10)
87
из
любых
свойств
 0   Qij (t ) 1;
jE

 Q ( )   p
jE
ij
 1.
ij
jE
Далее обратим внимание на то, что элементы полумарковского ядра
Qij (t ) определяют поведение процесса марковского восстановления за один
период (шаг) между соседними моментами изменения состояний, причем
предполагается однородность переходных вероятностей (нет зависимости от
номера шага n).
Определим свертку полумарковского ядра равенствами
t
Q (t )    Q
(n)
ij
kE 0
( n  1)
ik
t
(t  x)dQkj ( x)    Qik (t  x)dQkj( n 1) ( x), n  1, Qij(1) (t )  Qij (t ).
(5.11)
kE 0
Нетрудно заметить, что функция Qij( n ) (t ) определяет вероятность
перехода процесса марковского восстановления из состояния i в состояние j
за n переходов (для первой компоненты) и суммарное время
θ
k n
k
меньше t
(для второй компоненты).
То есть при любом n>0
n
Qij( n ) (t )  P{ξ m  n  j ,  θm  s  t / ξ m  i}.
(5.12)
s 1
В силу однородности процесса марковского восстановления эта
вероятность не зависит от параметра m.
Далее
исследуем
свойства
пределов pij( n)  limt Qij( n) (t ).
Если
воспользоваться леммой 2.2, доказанной в главе II, то из равенств (5.11) и
(5.12) получаем при t с учетом обозначений (5.7)
pij( n )  limt Qij( n ) (t )  Qij( n ) ()  P{ξm  n  j / ξ m  i} 
  pik( n 1) pkj   pik pkj( n 1) , n  1, m  0,
kE
(5.13)
kE
pij(1)  pij .
Равенства (5.13) доказывают, что последовательность {ξn }, n  0, 1, 2,... ,
определяющая эволюцию первой компоненты, является однородной цепью
Маркова с матрицей переходных вероятностей (5.7).
88
Таким образом, определенная однородная цепь Маркова называется
вложенной
цепью
Маркова.
Она
характеризует
эволюцию
первой
компоненты введенной выше двумерной цепи Маркова {ξn , θn }, n  0, 1, 2,... .
Отметим, что выше приведенные рассуждения не ограничивают возможность
перехода вложенной цепи Маркова из состояния i в то же самое состояние i.
Кроме этого, следует заметить, что известная классификация цепей Маркова
и их состояний [12] позволяет использовать ее в дальнейшем для
классификации полумарковских процессов и их состояний.
Из марковского свойства (5.6) двумерной цепи {ξn , θn }, n  0, 1, 2,... . и
равенств (5.7) и (5.8) следует, что при любом K>0 и tm>0, 0mK
K
K
k 1
k 0
P{ {θk  tk }/
K
{ξ k  jk }   Fjk 1 , jk (tk ).
(5.14)
k 1
Последнее равенство означает, что последовательность случайных
величин {θn }, n  0 является условно независимой, то есть при известной
траектории изменения первой компоненты {ξm  jm }, 0  m  K , совместное
распределение
последовательности
{θn }, 0  m  K ,
произведением условных распределений Fj
m1 , jm
представляется
(t ), 1  m  K .
Суммированием первого равенства (5.6) получаем совместное
распределение случайных величин {θn }, 0  m  K
K
P{ {θk  tk }}   
k 1
K
 ...  p j  Q jk1 , jk (tk ).
jE j1 E j 2 E
jK E
(5.15)
k 1
2. Определение полумарковского случайного процесса.
Далее определим при t>0 полумарковский процесс ξ (t ) как значение
первой компоненты марковского процесса восстановления
ξ (t )  ξ ν (t ) ,
(5.16)
где
ν(t )  sup{n :  θk  t}, θ0  0.
k n
89
(5.17)
Процесс ν(t ) , определяемый равенством (5.17), называется считающим
процессом. Траектории этого процесса непрерывные справа ступенчатые
неубывающие функции, в общем случае скачки (высота ступенек) равны
целым числам, а ширина – есть случайная величина, определяемая второй
компонентой процесса марковского восстановления θn . Если распределение,
определяемое равенством (5.15), непрерывно при tm=0, 1mK, то скачки
(высота ступенек) равны единице для почти всех траекторий.
Сделаем ряд важных замечаний:
Замечание 1. Компоненты полумарковского процесса ξ (t ) и введенный
выше считающий процесс ν(t ) имеют ступенчатые траектории, для которых
совпадают
моменты
tn   θk , n  1 ),
разрывов
только
значения
(разрывы
происходят
считающего
в
процесса
моменты
ν (t )
целые
k n
положительные числа, а полумарковский процесс ξ (t ) принимает значения из
конечного множества E  {1, 2,,,,, N}, N  .
Замечание 2. Между моментами tn   θk и tn1 
k n
θ
k  n 1
k
считающий
процесс ν(t ) и, следовательно, полумарковский процесс ξ (t )  ξν (t ) , не меняют
своих состояний.
Замечание 3. Для полумарковского процесса ξ (t ) моменты изменения
состояний tn   θk , n1 являются марковскими моментами (приложение 7).
k n
Будущее полумарковского процесса определяется состоянием, в которое он
перешел в момент tn   θk , временем пребывания в этом состоянии θn 1 и
k n
состоянием, в которое он перейдет в момент tn1 
ξ (tn )  i,
θ
k  n 1
k
Если известно, что
то из определения полумарковского ядра (5.2) следует, что
совместное распределение будущего состояния и времени θn 1 зависит только
от i. Следовательно, будущее процесса ξ (t ) в момент tn зависит только от i.
90
3. Примеры полумарковских процессов.
1. Процесс восстановления (принятые определения и обозначения
приведены в главе II). Для простого процесса восстановления N(t),
определяемого как число восстановлений, произошедших до момента t,
полумарковское ядро имеет вид
Qij (t )  0, t  0, j  i  1, Qi ,i 1 (t )  F (t ),
где F(t) – функция распределения положительных независимых одинаково
распределенных случайных величин 1,2,…,k,…, образующих процесс
восстановления.
Если использовать введенные выше обозначения, то получим
pij (t )  0, j  i  1, pi ,i 1  1, Fi ,i 1 (t )  F (t ).
Для процесса восстановления N1(t) с запаздыванием, определяемого
как число восстановлений, произошедших до момента t, полумарковское
ядро имеет вид
Qij (t )  0, t  0, j  i  1, i  1,
Qi ,i 1 (t )  F (t ), i  1, Q01 (t )  F1 (t ),
где F1 (t ) – функция распределения случайной величины ξ1 , F (t ) – функция
распределения
положительных
независимых
случайных
величин
ξ2 , ξ3 ,..., ξn ,.... , образующих процесс восстановления с запаздыванием.
2. Марковская цепь. Однородная цепь Маркова с матрицей переходных
вероятностей P  { pij } есть полумарковский процесс с полумарковским ядром
Qij (t )  pij Fij (t ),
где
1, t  1,
Fij  t   
0, t  1.
3. Марковский процесс с непрерывным временем и дискретным
множеством состояний (принятые определения и обозначения приведены в
главе IV).
91
Для марковского процесса с интенсивностями перехода λij  0 при ij, 
ii=0
в соответствии с равенством (4.22) имеем
Qij (t ) 
λij
Λi
(1  e Λit ), i  j, Λi   λij .
i j
4. Классификация полумарковских процессов и их состояний.
Как было отмечено выше (замечание 2), полумарковский процесс ξ (t ) в
полуинтервале [tn   θk , tn1 
k n
 θ ),
k  n 1
k
n  1, θ0  0, не меняет своих состояний,
то есть θn можно рассматривать как время непрерывного пребывания
полумарковского процесса (t) в некотором фиксированном состоянии. В
силу однородности марковского процесса восстановления (5.1) условное
распределение случайной величины θn при условии ξ (tn1 )  i не зависит от n.
Тогда из (5.4) имеем
Fi (t )  P{θ  t / ξ (0 )  i}   Qij (t ),
(5.18)
jE
где через  обозначено время непрерывного пребывания полумарковского
процесса в некотором фиксированном состоянии.
ОПРЕДЕЛЕНИЕ 1. Состояние iE называется мгновенным, если
Fi (t )  P{θ  t / ξ (0)  i}   Qij (t )  1, t  0.
(5.19)
jE
С учетом свойств полумарковского ядра
 Q (0)  0
jE
ij
из равенства (5.19)
получаем для мгновенного состояния iE равенство
P{θ  0 / ξ (0)  i}  1.
В мгновенном состоянии случайный полумарковский процесс ξ (t ) с
вероятностью единица проводит время, равное нулю.
Для мгновенного состояния из соотношения (5.9) получаем равенство
при t>0
Qij (t )  pij .
С понятием мгновенного состояния связано понятие регулярности
полумарковского процесса.
92
Прежде всего, отметим, что считающий случайный процесс ν(t ) для
любого t>0 определяет число состояний (число переходов), которые
принимал полумарковский процесс ξ ( x) за время t, включая момент t
(случайные процессы ν(t ) и ξ (t ) непрерывны справа).
ОПРЕДЕЛЕНИЕ
2.
Полумарковский
процесс
ξ (t )
называется
регулярным, если с вероятностью единица он за конечное время совершает
конечное число переходов, то есть для любого t>0 и iE справедливо
равенство
P{ν(t )   / ξ (0)  i}  1.
Теперь увяжем понятие регулярности с понятием мгновенности
состояний.
Очевидно, что, если все состояния полумарковского процесса являются
мгновенными, то за конечное время произойдет бесконечно много
переходов. По-существу, эволюции такого процесса во времени не
происходит, то есть такого процесса не существует. В дальнейших
рассуждениях предполагаем, что все состояния полумарковского процесса
не могут быть мгновенными.
ОПРЕДЕЛЕНИЕ 3. Состояние iE называется поглощающим, если
при любом конечном t
Fi (t )  P{θ  t / ξ (0)  i}   Qij (t )  0, t  0.
(5.20)
jE
Для поглощающего состояния i справедливо равенство
Qij (t )  pij Fij (t )  0, j  E , t  0,
(5.21)
поскольку каждое слагаемое неотрицательно, Qij (t )  0.
Если произведение (5.21) равно нулю за счет того, что Fij (t )  0, j  E, t  0,
то распределение Fi (t ) можно считать несобственным распределением, для
которого разность 1  Fi ()  0 трактуется как вероятность того, что случайная
величина θ принимает значение «бесконечность». В нашем случае эта
разность равна единице и поэтому считаем, что, попав в поглощающее
93
состояние i, полумарковский случайный процесс с вероятностью единица
проводит в нем бесконечное время. Можно иначе интерпретировать условия
Fij (t )  0, j  E , t  0.
Из поглощающего состояния i процесс ξ (t ) может перейти с
положительной вероятностью в какие-то состояния, но время перехода равно
бесконечности. При такой интерпретации по-прежнему справедлив вывод,
что, попав в поглощающее состояние i, полумарковский случайный процесс с
вероятностью
единица
проводит
в
нем
бесконечное
время.
Если
произведение (5.21) равно нулю за счет того, что pij  0, j  E. Как было
отмечено выше, в этом случае функции Fij (t ), j  E, t  0, можно доопределить
произвольным образом. В частности, считать Fij (t )  0, j  E, t  0.
При таком определении поглощающего состояния получаем, что
исследуемый процесс развивается бесконечно долго.
ОПРЕДЕЛЕНИЕ
4.
Полумарковский
процесс
ξ (t )
называется
обрывающимся, если с вероятностью единица его эволюция продолжается
конечное время.
Замечание. Решение вопроса о конечном или бесконечном времени
эволюции процесса зависит от конкретной реальной ситуации, которую
описывает исследуемый полумарковский процесс.
5.2. Определение управляемого полумарковского случайного процесса
Управляемый полумарковский процесс X (t )  {ξ (t ), u(t )} определяется
однородной трехмерной марковской цепью или однородным управляемым
процессом марковского восстановления
(ξ n , θn , un ), n  0, ξ n  E , θn  R   [0, ), un U .
(5.22)
Во введенных обозначениях (5.22) считаем:
 E  {e1 , e2 ,..., eN }, N   - конечное множество состояний (в дальнейшем
часто множество Е будем отождествлять с множеством E  {1, 2,..., N}, N  ,
первая компонента n однородного управляемого процесса марковского
восстановления принимает дискретные значения из этого множества;
94
 R   [0, ) – множество положительных действительных чисел, поэтому
вторую компоненту θn однородного управляемого процесса марковского
восстановления отождествляем со временем, на пространстве R   [0, )
задаем борелевскую -алгебру [12];
 U - есть пространство управлений с -алгеброй A подмножеств этого
пространства.
Однородная марковская цепь (ξn , θn , un ) определяется переходными
вероятностями
P{ξ n 1  j , θn 1  t , un 1  B / ξ n  i, θn  τ , un  u}, i, j  E , t , τ  R  , u U , B  ,
и начальным распределением P{ξ0  i, θ0  , u0 U }.
В рассматриваемом случае предполагаем, что марковская цепь задается
переходными вероятностями специального вида
P{ξn1  j, θn1  t , un1  B / ξ n  i, θn  τ , un  u}  P{ξ n1  j , θn1  t , un1  B / ξ n  i},
в которых нет зависимости от параметров  и u – значений второй и третьей
компоненты на предыдущем шаге и номера шага n. Следовательно, будущее
поведение однородного управляемого процесса марковского восстановления
зависит только от значения первой компоненты и имеет место однородность
этого управляемого марковского процесса восстановления. При этих
дополнительных ограничениях в качестве начального распределения можно
задавать константы
pi  P{ξ0  i, θ0  , u0 U },
p
iE
i
 1.
(5.23)
поскольку событие {θ0  , u0 U } являются достоверным и по определению
будущее от этих событий не зависит.
В дальнейшем будем использовать следующие обозначения
P{ξn1  j, θn1  t , un1  B / ξn  i}  Qij (t , B).
(5.24)
Так как будущее течение процесса зависит только от первой
компоненты, то можно модель усложнить и считать, что область определения
функции Qij (t , B) по переменной B зависит от состояния i. Это значит для
95
каждого iE задано множество управлений Ui и -алгебра Ai подмножеств
этого пространства Ui. Функция Qij (t , B) , определяемая равенством (5.24),
задана для i,jEtR+BAi.
Исследуем свойства функции Qij (t , B) , вытекающие из определения.
Нетрудно заметить, что при t и B=Ui мы получаем переходную
вероятность
pij  Qij (,Ui )  P{ξn1  j / ξn  i}
для
вложенной
цепи
Маркова,
(5.25)
характеризующей
эволюцию
первой
компоненты введенной трехмерной цепи Маркова.
Функции (5.24) обладают следующими свойствами при любых i,jE,
x>0 и BAi:
 0  Qij (t, B)  1, Qij (0, B)  0;
 Qij (t , B) - неубывающие по t, непрерывные слева функции;
 0   Qij (t , B)  1.
jE
Далее нетрудно заметить, что при B=Ui имеем равенство
Qij (t )  Qij (t ,Ui ),
(5.26)
где функция Qij (t ) определяется равенством (5.2).
Из определения (5.24) следует
Qij (, B)  limt Qij (t , B)  P{ξn1  j, un1  B / ξn  i}.
Следовательно, семейство функций Qij (t , B) порождает на измеримом
пространстве (Ui,Ai) семейство вероятностных мер при iE, BAi
Gi ( B)   Qij (, B)  P{un 1  B / ξ n  i}.
(5.27)
jB
Так
как
для
неравенство Gi ( B)  Qij (t, B),
любого
то
jE,
мера Qij (t , B)
tR+,
BAi
абсолютно
справедливо
непрерывна
относительно меры Gi ( B) и на основании теоремы Радона-Никодима [12]
существуют измеримые функции Qij (t , u ) такие, для которых имеет место
равенство
96
Qij (t , B)   Qij (t , u)Gi (du).
(5.28)
B
Функции Qij (t , u ) есть условные вероятности
Qij (t , u )  P{ξ n 1  j, θn 1  t / ξ n  i, un 1  u}.
(5.29)
Таким образом, однородный управляемый процесс марковского
восстановления может быть задан семейством матриц {Qij (t , u )} , множеством
вероятностных мер Gi ( B)
и начальным распределением вероятностей
состояний pi, i,jE, tR+, uUi, BAi.
Семейство матриц {Qij (t , u )} будем называть полумарковским ядром
управляемого полумарковского процесса, а семейство вероятностных мер
Gi ( B) будем называть семейством управляющих мер.
Если использовать равенства (5.26) и (5.28), то легко установить связь
между полумарковским ядром и полумарковским ядром управляемого
полумарковского
процесса
Qij(t,u)
и
семейством
вероятностных
управляющих мер Gi ( B)
Qij (t )   Qij (t , u )Gi (du ).
(5.30)
Ui
Равенство (5.29) позволяет выписать условное распределение
P{θn 1  t / ξ n  i, un 1  u}   Qij (t , u ).
(5.31)
jE
Далее определим управляемый полумарковский процесс X(t) как пару
X (t )  {ξ (t ), u (t )},
(5.32)
где ξ (t )  ξν (t ) , u (t )  uν (t )1 , а считающий процесс ν(t ) определяется равенством
(5.17).
Нетрудно заметить, что процесс ξ (t ) совпадает со стандартным
полумарковским процессом (определение (5.16)). Вторая компонента
управляемого полумарковского процесса
u (t )
определяет траекторию
принимаемых решений.
Отметим одно важное обстоятельство: компоненты полумарковского
процесса ξ (t ) , u (t ) и введенный выше считающий процесс ν(t ) имеют
97
ступенчатые траектории, для которых совпадают моменты разрывов
(разрывы происходят в моменты tn   θk , n  1 n1). Значения считающего
k n
процесса ν(t ) целые положительные числа и траектории его неубывающие,
компонента
принимает
ξ (t )
значения
из
конечного
множества
E  {1, 2,,,,, N}, N  , компонента u (t ) принимает значения из множеств Ui,
причем в зависимости от значения, принимаемого первой компонентой (это
свидетельствует о зависимости процессов ξ (t ) и u (t ) ).
Равенство
(5.26)
увязывает
характеристики
управляемого
полумарковского процесса и характеристики его первой компоненты –
стандартного полумарковского процесса. По свойствам первой компоненты
управляемого полумарковского процесса можно провести классификацию
его состояний и свойств траекторий, как это было сделано в параграфе 5.1.
для стандартного полумарковского процесса.
5.3. Определение управляемого полумарковского случайного процесса с
катастрофами
Исходным объектом для конструктивного построения управляемого
полумарковского
процесса
с
катастрофами
является
однородная
четырехмерная марковская цепь или однородный управляемый процесс
марковского восстановления с катастрофами
(ξ n , θn , un , ηn ), n  0, ξ n  E , θn , ηn  R   [0, ), un U .
(5.33)
Как и ранее в обозначениях (5.33) считаем:
 E  {1, 2,..., N}, N   - конечное множество состояний, первая компонента
ξn
однородного управляемого процесса марковского восстановления с
катастрофами принимает дискретные значения из этого множества;
 R   [0, ) – множество положительных действительных чисел, поэтому
вторую
компоненту
управляемого
θn
процесса
и
последнюю
марковского
98
компоненту
восстановления
ηn
с
однородного
катастрофами
отождествляем со временем, на пространстве R   [0, ) задаем борелевскую
-алгебру [12];
 U - есть некоторое пространство управлений с -алгеброй A подмножеств
этого пространства.
Однородная
марковская
цепь
определяется
(ξn , θn , un , ηn )
переходными
вероятностями P{ξn1  j, θn1  t , un1  B, ηn1  x) / ξn  i, θn  τ , un  u, ηn  y), i,jE, t,
,x,yR+, B, uU и начальным распределением P{ξ0  i, θ0  t , u0  B, η0  x}.
В рассматриваемом случае предполагаем, что марковская цепь задается
переходными вероятностями специального вида
P{ξn 1  j , θn 1  t , un 1  B, ηn 1  x) / ξ n  i, θn  τ , un  u, ηn  y ) 
 P{ξn 1  j , θn 1  t , un 1  B, ηn 1  x) / ξ n  i},
в которых нет зависимости от параметров , u и y – значений второй, третьей
и четвертой компоненты на предыдущем шаге и номера шага n.
Следовательно, будущее поведение однородного управляемого процесса
марковского восстановления с катастрофами зависит только от значения
первой компоненты и имеет место однородность этого управляемого
марковского
процесса
восстановления.
При
этих
дополнительных
ограничениях в качестве начального распределения можно задавать
константы
p j  P{ξ0  j , θ0  , u0  U 0 , η0  )}  0,
p
jE
j
 1,
(5.34)
поскольку событие {u0 U 0 } являются достоверным, а относительно θ0 и η0
далее полагаем P{θ0  0}  P{η0  0}  1.
В дальнейшем будем использовать обозначения
Qij (t , B, x)  P{ξn1  j, θn1  t, un1  B, ηn1  x) / ξn  i}
(5.35)
Из равенства (5.35) следует, что можно модель усложнить и считать,
что область определения функции Qij (t, B, x) по переменной B зависит от
состояния i. Это значит для каждого iE задано множество управлений Ui и
99
-алгебра Ai подмножеств этого пространства Ui. Функция Qij (t, B, x) ,
определяемая равенством (5.35), задана для i,jEt,xR+BAi.
Исследуем свойства функции Qij (t, B, x) , вытекающие из определения
этой функции.
Прежде всего, заметим, что при x получаем равенство
limxQij (t, B, x)  Qij (t, B),
где функция Qij (t , B) определяется равенством (5.24) со всеми вытекающими
из этого равенства свойствами.
Функции (5.35) обладают следующими свойствами при любых i,j
E,t>0,x>0 и BAi:
 0  Qij (t, B, x)  1, Qij (0, B, x)  0;
 Qij (t, B, x) - неубывающие по t и x, непрерывные слева функции;
 0   Qij (t , B, x)  1.
jE
Семейство функций Qij (t, B, x) порождает на измеримом пространстве
(Ui,Ai) семейство вероятностных мер
Gi ( B)  P{un 1  B / ξ n  i}   Qij (, B, ), iE, BAi.
(5.36)
jE
Так
как
для
jE,
любого
неравенство Gi ( B)  Qij (t, B, x),
то
мера
t,xR+,
Qij (t , B, x)
BAi
абсолютно
справедливо
непрерывна
относительно меры Gi ( B) и на основании теоремы Радона-Никодима
существуют измеримые функции Qij (t , u , x) такие, для которых имеет место
равенство
Qij (t , B, x)   Qij (t , u, x)Gi (du).
(5.37)
B
Функции Qij (t , u , x) есть условные вероятности
Qij (t , u, x)  P{ξ n 1  j, θn 1  t , ηn 1  x / ξ n  i, un 1  u}.
(5.38)
Таким образом, однородный управляемый процесс марковского
восстановления
с катастрофами может быть задан семейством матриц
100
{Qij (t , u , x)} ,
множеством
вероятностных
мер
и
Gi ( B)
начальным
распределением вероятностей состояний pi, i,jE, t,xR+, uUi, BAi.
Семейство матриц {Qij (t , u, x)} будем называть полумарковским ядром
управляемого полумарковского процесса с катастрофами, а семейство
вероятностных мер Gi ( B) будем называть семейством управляющих мер.
Из
определения
полумарковского
ядра
управляемого
полумарковского процесса Qij (t , u ) и полумарковского ядра управляемого
полумарковского процесса с катастрофами Qij (t , u , x) следует предельное
равенство
Qij (t , u )  limxQij (t , u, x),
которое позволяет установить связь полумарковского ядра управляемого
полумарковского процесса с катастрофами со стандартным полумарковским
ядром.
Из равенства (5.38) следует
P{θn 1  t , ηn 1  x / ξ n  i, un 1  u}   Qij (t , u , x).
(5.39)
jE
В силу монотонности функции (5.39) по переменной t получаем
неравенство
P{θn 1  t / ξ n  i, un 1  u}  limx   Qij (t , u , x)   Qij (t , u , ) 
jE
jE
(3.8)
 P{θn 1  t , ηn 1  x / ξ n  i, un 1  u}   Qij (t , u , x).
jE
Следовательно,
мера
непрерывна относительно меры
теоремы
Радона-Никодима
P{θn1  t , ηn1  x / ξn  i, un1  u}
P{θn1  t / ξn  i, un 1  u}
существуют
абсолютно
и на основании
измеримые
функции
P{ηn1  x / ξn  i, θn1  t , un 1  u} такие, для которых имеет место равенство
t
 Qij (t , u, x)   P{ηn1  x / ξn  i, θn1  y, un1  u}d y ( Qij ( y, u, x))
jE
Далее
определим
(5.40)
jE
0
управляемый
полумарковский
процесс
катастрофами Y(t) как случайный процесс с четырьмя компонентами
101
с
Y (t )  (ξ (t ), u (t ), θ (t ), η(t )),
(5.41)
где ξ (t )  ξν (t ) , u (t )  uν (t )1 , θ (t )  θν (t )1 , η(t )  ην (t )1 , а считающий процесс ν(t )
определяется равенством (5.17).
Заметить, что процесс ξ (t ) совпадает со стандартным полумарковским
процессом, вторая компонента управляемого полумарковского процесса u (t )
определяет траекторию принимаемых решений. Эта пара совпадает с
управляемым полумарковским процессом X(t) (см. определение (5.32)).
Третья и четвертая компоненты θ (t ) и η(t ) принимают значения из
пространства
R+=[0,).
Компоненты
управляемого
полумарковского
процесса с катастрофами Y(t), и введенный выше считающий процесс ν(t )
имеют ступенчатые траектории, для которых совпадают моменты изменения
состояний (изменения состояний происходят в моменты tn   θk , n  1 ).
k n
Компоненты θ (t ) и η(t ) увяжем с моментами появления некоторого события
А, называемого катастрофой. Если для некоторого t>0 выполняется
неравенство θ (t )  η(t ), то считаем, что на периоде [tν (t )1 , tν (t )2 ) произошла
катастрофа в момент tν (t )1  η(t ) . Значение процесса ν(t )  1 определяет номер
периода, на котором произошла катастрофа. Таким образом, получаем
последовательность (поток) моментов катастроф при t>0. В частности, если
ζ  inf{t : θ (t )  η(t )}, то τ  ζ  η(ζ ) есть момент первой катастрофы.
5.4 Определение стратегии управления и ее свойства. Постановка задачи
управления и выбора оптимальной стратегии
ОПРЕДЕЛЕНИЕ 1. Стратегией управления называется правило
выбора моментов принятия решений и правило выбора решений из заданного
множества допустимых решений (управлений).
Другими словами, стратегия управления есть правило, определяющее,
когда и какие решения принимаются.
102
Вопрос о том, когда и какие решения следует принимать, решается в
зависимости от объективной информации, каковой при управлении
случайным процессом является реализуемая траектория этого процесса. Если
решение принимается в некоторый момент t, то значение процесса в этот
момент
(t) называется настоящим процесса, траектория (s) при 0st
называется прошлым процесса или историей, траектория (s) при 0ts<
называется будущим процесса.
ОПРЕДЕЛЕНИЕ 2. Если решения принимаются в некоторые заранее
определенные или случайные моменты времени, то такое управление
(стратегия) называется дискретным управлением.
Заметим, что дискретность управления может быть связана с тем, что
управляемый процесс (объект управления) есть процесс с дискретным
временем, или по самой постановке задачи управления вмешиваться в
естественное течение процесса можно только в отдельные моменты времени.
ОПРЕДЕЛЕНИЕ 3. Если стратегия зависит только от истории
процесса, то такая стратегия называется неупреждающей.
Для неупреждающей стратегии правило выбора решений не зависит от
будущего течения управляемого процесса, а зависит от прошлого и
настоящего.
ОПРЕДЕЛЕНИЕ 4. Стратегия управления называется марковской,
если при принятии решений используется только информация о настоящем
состоянии процесса.
Другими словами, для марковской стратегии выбор управления зависит
от текущего состояния управляемого процесса и не зависит от того, каким
образом в прошлом процесс попал в текущее состояние. Отметим также, что
марковские стратегии являются неупреждающими.
ОПРЕДЕЛЕНИЕ 5. Стратегия управления называется однородной
(стационарной),
если
правило
принятия
календарного времени.
103
решений
не
зависит
от
ОПРЕДЕЛЕНИЕ
6.
Стратегия
управления
называется
рандомизированной, если в процесс принятия решений введен случайный
эксперимент, который определяется некоторой вероятностной мерой,
построенной на измеримом пространстве допустимых управлений.
ОПРЕДЕЛЕНИЕ
7.
Стратегия
управления
называется
детерминированной (нерандомизированной), если вероятностная мера,
построенная на измеримом пространстве допустимых управлений, является
вырожденной.
Заметим, что множество детерминированных стратегий является
собственным подмножеством множества рандомизированных стратегий,
поскольку
вырожденные
распределения
являются
частным
случаем
распределений.
Приведенные выше определения формулируют свойства стратегий.
ПРИМЕР. В заключение настоящего параграфа исследуем свойства
стратегий, определенных выше для управляемого полумарковского процесса.
В соответствии с определением управляемый полумарковский процесс
задается полумарковским ядром Qij (t , u ) (5.29) и семейством вероятностных
мер Gi ( B) (5.27), i,jE, tR+, uUi, BAi. Меры Gi ( B) , iE, BAi,
определенные на измеримых пространствах управлений (Ui,Ai), задают
стратегию управления (правило выбора решений). Следовательно,
 стратегия является марковской, поскольку распределения Gi ( B) зависят
только от текущего состояния i;
 стратегия является однородной, поскольку распределения Gi ( B) не зависят
только от времени;
 стратегия,
определяемая
распределениями
Gi ( B) ,
является
рандомизированной, поскольку в процесс принятия решения введен
случайный эксперимент.
Таким
образом,
в
описанной
выше
модели
управляемого
полумарковского процесса рассматривается класс однородных марковских
104
рандомизированных стратегий (отметим так же, что в этой модели речь идет
о дискретном управлении, так как решения принимаются в моменты
изменения состояний первой компоненты управляемого полумарковского
процесса).
Следует заметить, что при фиксированной стратегии получаем
фиксированный управляемый полумарковский случайный процесс. Если
задается
множество
стратегий
управления,
то
получаем
множество
управляемых полумарковских случайных процессов. Для этого случая, когда
имеем множество управляемых случайных процессов, можно ставить задачу
выбора наилучшего в каком-то смысле случайного процесса, то есть выбора
наилучшей (оптимальной) стратегии управления. Для строгой постановки
оптимизационной задачи необходимо определить цели управления, то есть
определить в каком смысле одна стратегия лучше другой.
105
ЛИТЕРАТУРА
1. Бочаров
П.П.,
Печинкин
А.В.
Теория
вероятностей,
Математическая статистика. Москва. Гардарика, 1998.
2. Б.В.Гнеденко, И.Н.Коваленко. «Введение в теорию массового
обслуживания», URSS, Москва, 2005 год.
3. Ивченко Г.И., Каштанов В.А., Коваленко И.Н. Теория массового
обслуживания. М., Высшая школа, 1982.
4. Д.Кокс и В.Смит. «Теория восстановления», Советское радио,
Москва, 1967
5. А.Я.Хинчин.
«Работы по математической теории массового
обслуживания». Физ.-матгиз, Москва, 1963 год.
6. В.Феллер. «Введение в теорию вероятностей и ее приложения»
(том 2), Мир, Москва, 1967
год. (тауберовы
теоремы, теорема
восстановления)
7. А.Н.Колмогоров.
О
суммах
случайного
числа
случайных
слагаемых. Избранные труды. А.Н.Колмогоров «Теория вероятностей и
математическая статистика», Наука, 1986.
8. В.С.Королюк
и др. «Справочник по теории вероятностей
математической статистике». Москва, Наука, 1985.
9. С.Карлин. Основы теории случайных процессов. Мир, Москва,
1971.
10. Математическая энциклопедия. Том 3. Издательство «Советская
энциклопедия», Москва, 1982.
11. А.Н.Колмогоров. К вопросу о дифференцируемости переходных
вероятностей в однородных по времени процессах Маркова со счетным
множествам состояний. Избранные труды. А.Н.Колмогоров «Теория
вероятностей и математическая статистика», Наука, 1986.
12. А.Н.Ширяев. Вероятность 1,2. Москва, МЦНМО, 2004.
13. Прудников А.П., Брычков Ю.А., Маричев О.И. Интегралы и ряды.
Специальные функции.- М.: Наука, 1983.
106
МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ
1. Оценки для вероятности суммы событий
Для вероятности суммы событий справедливо равенство
n
P{
k 1
n
Ak }   P{ Ak } 
k 1

1i  j  n
P{ Ai Aj } 

1i  j  k  n
P{Ai Aj Ak }  ...  (1) n1 P{A1 A2 ... An },
которое доказывается по индукции, начиная с очевидного равенства
2
P{
Ak }  P{ A1}  P{ A2 }  P{ A1 A2 }.
k 1
Из первого и второго равенств по индукции получаем верхнюю и
нижнюю оценки для вероятности суммы событий
n
 P{A }  P{
n
n
k
k 1
k 1
Ak }   P{ Ak } 
k 1

1i  j  n
P{ Ai Aj }.
2. Свойство преобразования Лапласа-Стилтьеса интеграла свертки
Для интеграла свертки двух функций распределения положительных
случайных
t
Φ(t )   F (t  x)dG ( x)
величин
имеем,
меняя
порядок
0
интегрирования,


Φ ( s )   e dΦ(t )   e
*
 st
0
 st
t
 d F (t  x)dG ( x) 
t
0
0




0
x
0
0
  e  sx dG ( x)  e  s ( t  x ) dF (t  x)   e  sx dG ( x)  e  st dF (t )  G * ( s )F * ( s ).
Тем
самым
доказано,
что
преобразование
Лапласа-Стилтьеса
интеграла свертки двух функций распределения положительных случайных
величин равно произведению преобразований Лапласа-Стилтьеса этих
распределений.
3. Тауберова теорема [6]
Для точной формулировки теоремы определим понятие медленно
меняющейся на бесконечности функции.
107
Положительная функция L(x), определенная на (0,∞), называется
медленно меняющейся на бесконечности, если при любом x>0
L( xt )
 1, t  .
L(t )
Положительная функция L(x), определенная на (0,∞), называется
1
x
медленно меняющейся в нуле, если функция L( ) является медленно
меняющейся на бесконечности.
ТЕОРЕМА. Если L медленно меняется на бесконечности и 0  ρ  , то
каждое из соотношений
s p Φ* ( s )
Φ(t )Γ( p  1)
 1, s  0 и
 1, t   влечет
1
t p L(t )
L( )
s
другое.
При

формулировке
теоремы
приняты
обозначения

Φ ( s )   e d Φ(t ), Γ( p)   x p 1e  x dx  гамма–функция Эйлера.
*
 st
0
0
4. Различные выражения для математического ожидания
Для действительной случайной величины ξ с функцией распределения
F(x)=P{ξ<x}, -∞<x<+∞, математическое ожидание определяется, как

интеграл Mξ   xdF ( x), если интеграл сходится абсолютно. Интегрированием

по частям получаем

Mξ 


0
xdF ( x) 



0

0

0
xdF ( x)   xd [1  F ( x)]    F ( x)dx   [1  F ( x)]dx,
при этом заметим, что свободные члены равны нулю, так как в силу
абсолютной сходимости интеграла функция распределения F(x) при x→-∞
стремится к нулю быстрее, чем x стремится к минус бесконечности, а
функция 1-F(x) при x→∞ стремится к нулю быстрее, чем x стремится к
бесконечности.
Для положительной случайной величины F(0)=0. Поэтому справедливо
равенство
108
Mξ 



0
 xdF ( x)   [1  F ( x)]dx.
5. Тождество Вальда [7]
Тождество Вальда при определенных условиях позволяет вычислять
математическое ожидание суммы случайного числа случайных слагаемых.
Пусть дана некоторая последовательность случайных возможно
зависимых величин ξi , i  1, 2,..., n,... , и целочисленная случайная величина ν с
распределением
pk  P{ν  k}, k  1, 2,..., n,..., pk  0,

p
k 1
k
 1.
Изучаются
ν
случайные величины ζ ν   ξi .
i 1
Случайные величины ν и ξ i могут быть зависимы.
ТЕОРЕМА (тождество Вальда). Если существуют математические
ожидания Mξi  ai и абсолютные первые моменты M ξi  ci , если ряд


c  p
i 1
i
k i
k
  сходится и выполняются условия P{ξi  x / ν  k}  P{ξi  x}, при
i>k, то существует математическое ожидание Mζ ν и справедливо тождество

i

i 1
m 1
i 1
Mζ ν   pi  am   pi Mζ i .
ЧАСТНЫЙ
СЛУЧАЙ
(одинаково
распределенные
случайные
величины ξ i ). Если выполнено условие P{ξi  x / ν  k}  P{ξi  x}, при i>k, и
существуют математические ожидания Mξi  a, Mν, M ξi  c, то существует
математическое ожидание Mζ ν и справедливо тождество Mζ ν  (Mξ1 )(Mν).
6. Индикатор
Индикатор I A ( x) или I ( x  A) определяется как функция множества,
принимающая два значения: ноль и единица
1, x  A,
I A ( x)  I ( x  A}  
0, x  A.
109
Если рассматривать эту функцию как функцию некоторой случайной
величины ξ, то получим случайную величину, принимающую два значения и
определяемую равенством
1, ξ  A,
η  I A (ξ )  I (ξ  A}  
0, ξ  A.
Из последнего равенства следует
Mη  MI A (ξ )  MI (ξ  A)  P{ξ  A}.
7. Марковский момент. Строго марковское свойство [10]
Определение
марковского
момента
связывается
с
некоторым
случайным процессом ξ (t ) . Оно устанавливает свойство независимости
некоторой случайной величины от «будущего» течения процесса.
Случайный процесс
ξ (t )
определяется как мера на некотором
измеримом пространстве (Ω, B) . При любом t  [0, ) множество траекторий
ξ ( s, ω), s  t порождает неубывающее семейство σ - алгебр Bt  B .
Определение.
марковским
Случайная
моментом
величина
относительно
называется
τ  τ (ω)  [0, ]
семейства
Bt  B ,
если
{τ (ω)  t}  Bt  B .
Другими словами, распределение случайной величины τ  τ (ω) зависит
только от поведения случайного процесса ξ ( s ) до момента t.
Марковский момент называется моментом остановки, если он
конечен, τ  τ (ω)  [0, ).
Строго марковское свойство процесса ξ (t ) с конечным множеством
состояний определяется равенством
P{ξ (t1 )  i1 ,..., ξ (tn )  in , ξ ( τ  τ1 )  in 1 ,..., ξ ( τ  τ k )  ik / ξ ( τ )  i} 
 P{ξ (t1 )  i1 ,..., ξ (tn )  in / ξ ( τ )  i}P{ξ ( τ  τ n 1 )  in 1 ,..., ξ ( τ  τ k )  ik / ξ ( τ )  i},
если τ  τ (ω)  [0, ] марковский момент, и это равенство справедливо при
любых 0  n  k , i  E, is  E, s  1, 2,..., k , 0  t1  t2  ...  tn  , 0  τn1  ...  τk  .
110
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ............................................................................................................. 2
ГЛАВА I. ЭКСПОНЕНЦИАЛЬНОЕ РАСПРЕДЕЛЕНИЕ И ЕГО
СВОЙСТВА ............................................................................................................ 4
1.1. ОПРЕДЕЛЕНИЕ ЭКСПОНЕНЦИАЛЬНОГО РАСПРЕДЕЛЕНИЯ И ЕГО СВОЙСТВА ..... 4
1.2. ОПРЕДЕЛЕНИЕ РАСПРЕДЕЛЕНИЯ ЭРЛАНГА И ЕГО СВЯЗЬ С
ЭКСПОНЕНЦИАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ .............................................................. 6
1.3. ОПРЕДЕЛЕНИЕ РАСПРЕДЕЛЕНИЯ ПУАССОНА, ЕГО СВОЙСТВА И СВЯЗЬ С
РАСПРЕДЕЛЕНИЕМ ЭРЛАНГА И ЭКСПОНЕНЦИАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ
............. 8
1.4. РАСПРЕДЕЛЕНИЕ НЕКОТОРЫХ СПЕЦИАЛЬНЫХ ФУНКЦИЙ ОТ НАБОРА
НЕЗАВИСИМЫХ ЭКСПОНЕНЦИАЛЬНО РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ ВЕЛИЧИН .... 9
ГЛАВА II. ПРОЦЕССЫ ВОССТАНОВЛЕНИЯ........................................... 11
2.1. ОПРЕДЕЛЕНИЕ ПРОЦЕССА ВОССТАНОВЛЕНИЯ ............................................... 11
2.2. ФУНКЦИЯ ВОССТАНОВЛЕНИЯ И ЕЕ СВОЙСТВА ............................................... 13
2.3. ИНТЕГРАЛЬНЫЕ УРАВНЕНИЯ ВОССТАНОВЛЕНИЯ............................................ 18
2.4. ПЛОТНОСТЬ ВОССТАНОВЛЕНИЯ ..................................................................... 20
2.5. АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ ФУНКЦИИ ВОССТАНОВЛЕНИЯ
(ЭЛЕМЕНТАРНАЯ ТЕОРЕМА ВОССТАНОВЛЕНИЯ) ..................................................... 21
2.6. ОБРЫВАЮЩИЕСЯ ПРОЦЕССЫ ВОССТАНОВЛЕНИЯ .......................................... 22
2.7. УЗЛОВАЯ ТЕОРЕМА ВОССТАНОВЛЕНИЯ ........................................................... 26
2.8 ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ ВЕЛИЧИН, СВЯЗАННЫХ С ПРОЦЕССОМ
ВОССТАНОВЛЕНИЯ ................................................................................................ 28
1. Момент последнего на конечном интервале восстановления. ............. 28
2. Обратное время возвращения (время недоскока) ................................... 29
3. Прямое время возвращения (перескок) .................................................... 30
4. Совместное распределение прямого и обратного времен
возвращения .................................................................................................... 31
2.9. ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ УЗЛОВОЙ ТЕОРЕМЫ ВОССТАНОВЛЕНИЯ ............. 32
111
1. Вычисление предельных распределений прямого и обратного времен
возвращения. ................................................................................................... 32
2. Вычисление предельного совместного распределения прямого и
обратного времен возвращения. ................................................................... 33
3. Вычисление предельного распределения суммы прямого и обратного
времен возвращения (распределения интервала, накрывающего
бесконечно далекий момент). ....................................................................... 34
4. Построение асимптотического разложения функции восстановления
процесса восстановления с запаздыванием. ............................................... 35
2.10. НЕКОТОРЫЕ ПОЛЕЗНЫЕ ОЦЕНКИ ДЛЯ ФУНКЦИЙ ВОССТАНОВЛЕНИЯ ........... 35
1. Функция восстановления. .......................................................................... 36
2. Плотность восстановления. ..................................................................... 37
3. Сравнение функций восстановления. ....................................................... 37
2.11. СТАЦИОНАРНЫЕ ПРОЦЕССЫ ВОССТАНОВЛЕНИЯ .......................................... 38
2.12. АЛЬТЕРНИРУЮЩИЕ ПРОЦЕССЫ ВОССТАНОВЛЕНИЯ ..................................... 41
ГЛАВА III. ПУАССОНОВСКИЙ ПРОЦЕСС (ПРОСТЕЙШИЙ ПОТОК)
................................................................................................................................. 44
3.1. ОПРЕДЕЛЕНИЕ И СВОЙСТВА ПРОСТЕЙШЕГО ПОТОКА ..................................... 44
3.2. ДРУГИЕ ОПРЕДЕЛЕНИЯ ПРОСТЕЙШЕГО ПОТОКА ............................................ 48
3.3. ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЯ ИНТЕРВАЛА, НАКРЫВАЮЩЕГО
ПРОИЗВОЛЬНУЮ ТОЧКУ ........................................................................................ 53
3.4. ИССЛЕДОВАНИЕ УСЛОВНЫХ ВЕРОЯТНОСТЕЙ ................................................. 54
3.5. ИССЛЕДОВАНИЕ УСЛОВНЫХ И БЕЗУСЛОВНЫХ МАТЕМАТИЧЕСКИХ ОЖИДАНИЙ
.............................................................................................................................. 58
ГЛАВА IV. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ
ВРЕМЕНЕМ И ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ......... 62
4.1. ОПРЕДЕЛЕНИЕ МАРКОВСКОГО ПРОЦЕССА ..................................................... 62
4.2. УРАВНЕНИЯ КОЛМОГОРОВА .......................................................................... 65
112
4.3. ВЛОЖЕННАЯ ЦЕПЬ И ХАРАКТЕРИСТИКИ НА ПЕРИОДЕ МЕЖДУ СОСЕДНИМИ
МОМЕНТАМИ ИЗМЕНЕНИЯ СОСТОЯНИЙ ................................................................. 68
4.4. АСИМПТОТИЧЕСКИЙ АНАЛИЗ МАРКОВСКИХ ПРОЦЕССОВ ............................... 71
4.5. ПРОЦЕССЫ РАЗМНОЖЕНИЯ И ГИБЕЛИ ........................................................... 78
1. Анализ предельных характеристик. ......................................................... 79
2. Анализ частных случаев. ........................................................................... 80
ГЛАВА V. ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ .......................................... 85
5.1. ОПРЕДЕЛЕНИЕ ПОЛУМАРКОВСКОГО СЛУЧАЙНОГО ПРОЦЕССА ...................... 85
1. Однородный процесс марковского восстановления и полумарковское
ядро. ................................................................................................................. 85
2. Определение полумарковского случайного процесса. ............................. 89
3. Примеры полумарковских процессов. ....................................................... 91
4. Классификация полумарковских процессов и их состояний. ................. 92
5.2. ОПРЕДЕЛЕНИЕ УПРАВЛЯЕМОГО ПОЛУМАРКОВСКОГО СЛУЧАЙНОГО ПРОЦЕССА
.............................................................................................................................. 94
5.3. ОПРЕДЕЛЕНИЕ УПРАВЛЯЕМОГО ПОЛУМАРКОВСКОГО СЛУЧАЙНОГО ПРОЦЕССА
С КАТАСТРОФАМИ.................................................................................................. 98
5.4 ОПРЕДЕЛЕНИЕ СТРАТЕГИИ УПРАВЛЕНИЯ И ЕЕ СВОЙСТВА. ПОСТАНОВКА ЗАДАЧИ
УПРАВЛЕНИЯ И ВЫБОРА ОПТИМАЛЬНОЙ СТРАТЕГИИ ........................................... 102
ЛИТЕРАТУРА ................................................................................................... 106
МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ ...................................................... 107
1. ОЦЕНКИ ДЛЯ ВЕРОЯТНОСТИ СУММЫ СОБЫТИЙ .............................................. 107
2. СВОЙСТВО ПРЕОБРАЗОВАНИЯ ЛАПЛАСА-СТИЛТЬЕСА ИНТЕГРАЛА СВЕРТКИ .... 107
3. ТАУБЕРОВА ТЕОРЕМА [6]................................................................................. 107
4. РАЗЛИЧНЫЕ ВЫРАЖЕНИЯ ДЛЯ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ ..................... 108
5. ТОЖДЕСТВО ВАЛЬДА [7] ................................................................................. 109
6. ИНДИКАТОР .................................................................................................... 109
7. МАРКОВСКИЙ МОМЕНТ. СТРОГО МАРКОВСКОЕ СВОЙСТВО [10] ..................... 110
113