Полумарковские процессы и их применения

УДК 9.653
ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ И ИХ ПРИМЕНЕНИЕ
В; С. Королюк,
С,' М. Броди,
Глава
i
А. Ф.
Турбин
Г
ПОЛУМАРКОВСКИЕ
ПРОЦЕССЫ
ВВЕДЕНИЕ
Теория полумарковских процессов, имеющая немногим бо­
лее чем пятнадцатилетнюю' историю, является одним из ин­
тенсивно развиваемых направлении в теории случайных про­
цессов. Это связано, во-первых, с тем, что полумарковские
процессы являются естественным и важным обобщением це­
пей и процессов Маркова, и, во-вторых, с тем, что полумарковские процессы позволяют естественным образом моде­
лировать реальные системы массового обслуживания,
резервированные системы, стохастические автоматы и многие
другие.
В настоящем обзоре отражены работы по полумарковским
процессам и их применениям, результаты которых стали
общеупотребительными за период 1954—1971 гг. В обзор
включены также некоторые статьи, опубликованные в 1972 г.,
в которых, по мнению авторов, завершается определенный
круг исследований и которые были доступны авторам настоя­
щего обзора.
Из опубликованных ранее обзоров и работ монографиче­
ского характера укажем на работы Цинлара [141], группы
бельгийских и французских математиков [132], а также
Штёрмера [233] и Д. С. Сильвестрова [99].
Авторы отдают себе полный отчет в том, что некоторые
исследования по полумарковским процессам либо совсем не
отмечены в обзоре, либо отмечены весьма конспективно, но
Они считают, что все эти результаты должны стать предме­
том дальнейших обзоров, появление которых поможет как
систематизации уже полученных результатов, так и стимули­
рованию новых исследований.
47
§ 1. ОПРЕДЕЛЕНИЕ ПОЛУМАРКОВСКОГО ПРОЦЕССА
Понятие полумарковского процесса '(ПМП) является ес­
тественным обобщением цепей Маркова и марковских про­
цессов.
Известно, что однородная регулярная цепь Маркова
с дискретным множеством состояний E—{0, 1, 2,...} задается
производящей матрицей Q={i7ij, t, /€••--}• в которой
qu = -qi = -
^д\г
Эволюция цепи Маркова происходит следующим образом;
в £-м состоянии система находится- случайное время 6i,
распределенное по показательному закону с параметром Ц\,
а затем переходит в /-ое состояние с вероятностью pii—
— Riihi, h i € E. В 1954—1955 гг. независимо и почти одно­
временно Леви [194], Смит [227], Такач [235] предложили
рассматривать стохастические системы, эволюционирующие
.аналогично цепям Маркова, в которых, однако время пребы­
вания в t-м состоянии 8i имеет произвольные функции распре­
деления Pi(х).
Такие системы получили название полумарковских.
Строгие определения ПМП с различной степенью общно­
сти содержатся в работах Смита [227], Леви [194], Пайка
[216], Пайка и Шауфеля [217], Цинлара [140] и др.
Пусть Е—некоторое конечное или счетное подмножество
множества целых неотрицательных чисел.
О п р е д е л е н и е \Л. Полумаркоцской матрицей назовем
матричнозначную функцию Q (x\ = {Qij (x), f , / € E } , удов­
летворяющую условиям:
1) Q ^ - o , x<o, /,/6E;
2) Q,/(x)— неубывающие измеримые функции;
3) ^Qu(oo)^h
t£E.
Пусть (Q, S3, P) — вероятностное пространство, на котором
определены следующие величины:
а) L(co), принимающая значения, из {1, 2,..., oo};
б) |п(со), определенные для 0{le}n<L(co) и принимающие
значения из Е\
в) т-г(ш). определенные для 0{le}/x<L(co), принимающие
.значения в '[0, оо] такие, что для почти всех со .-.Й
0 - = - 0 (ш) <-.-1 ( о > ) < . . .
Предполагается, что для любого я ^ О ог-алгебра 93 содержит
сг-алгебры, порожденные множествами
48
{ю : \т = к,т.т+1 — im < if, L (ш) > п, т -= 0, я),
k£E, te[0,oo).
О п р е д е л е н и е 1.2. -Процесс {.;„+i(и), -..+1, L} назы­
вается процессом марковского восстановления (ПМВ), порож­
денным полумарковской матрицей Q'(x), если
P{Zn+l(m) = J, t J J + i < t | 5 0 , £1,... ,S„; т0Д.. ,x„} =
— -?{-„+i = / . х п + 1 <^|е л , -„> = Qe„/(^ — -«>
почти всюду на {со: L(cu)>/j} для каждого / 6 E . t€[0, 00),
/z.>0. Определим 6 — - , + 1 - - в , л^>0. Тогда полумарков­
ская ,матрица Q (x) задает также • переходные вероятности
двумерной цепи Маркова {-:„, б„, L}:
Введем следующие величины
С С—•> "----=
SU
P -«Н>
0<л<£
-N,-('0 = -V./(-:.b) = card{/i: .*, = /, t , . < t } ,
.W (t) =. TV (t, w)•= sup {n: tn < t}.
0<n<£
О п р е д е л е н и е 1.3. Процесс {i-(t), С} = {£.у(о> j-} н а з ы "
'- вается ПМП, порожденным полумарковской матрицей Q (х).
Для ПМП {-i(t),C} величины хп называют моментами пере­
хода (изменения состояния), \п определяют состояния в мо­
мент л-го перехода, 8„ называют временами пребывания ПМП
в состоянии £.,, • N(*•) — общее число переходов за время t,,
Nj(t), j6E, —-число попаданий в /-е состояние за время t;
L — общее число переходов процесра, включая момент х 0 = 0.
—>
О У р Ж е ление 1.4. Процесс{N(t)xL}=*{Nj(t), j£E, L}
называется, считающим (counting) процессом.
О п р е д е л е н и е 1.5. Цепь Маркова {|п, L} называют
цепью Маркова, вложенной в ПМВ, ПМП или считающий
процесс соответственно *.
,
В зависимости от свойств полумарковской матрицы, за­
дающей ПМВ и ПМП, его траектории могут обладать качест­
венно различными свойствами. •
* Термин «процесс марковского восстановления»
(Markov Renewal
-+
Process) был введен первоначально Пайком для процессов {N(t), L).
Здесь приведена терминология, которая используется в литературе в по­
следние годы.
4 Заказ М 382
'49
Обычно рассматривается более узкий класс ПМП, у которого полумарковская матрица удовлетворяет дополнительно­
му условию
2 Q u ( ° ° ) — 2 A j — --
(i-2)
Условие (1.2) эквивалентно тому, что L(CU)-—{infty} с вероят­
ностью единица. Процессы, удовлетворяющие условию (1.2),.
называются консервативными. Всюду в дальнейшем, если не
оговорено противное, будут рассматриваться именно консер­
вативные процессы.
__•
Однако и в случае консервативности процесса последний
может обладать неприятными свойствами, например, число
переходов процесса может быть бесконечным за конечное
время. Следующее ниже определение описывает класс полумарковских процессов, свободных от таких патологий.
О п р е д е л е н и е 1.6. Процесс Е (t) называется регуляр­
ным, если V / € E - ° { - У / ( 0 < —}==•-> и сильно регулярным,
если
/>{S-V, (.)<«-} = !•
Различные условия, обеспечивающие регулярность ПМП-.
изучены Пайком [215, 216]. В частности, если множество Е
конечно, то ПМП всегда сильно регулярен.
Уже в одной из первых работ по ПМП [194] была прове­
дена классификация состояний. Считалось, что для времена
пребывания ПМП в каждом состоянии имеет место один из:
следующих трех случаев:
а) 9i=0—.мгновенное состояние;
б) 0<9i<oo—устойчивое (нормальное) состояние;
в) 0i-=оо— поглощающее состояние.
Понятно, что для консервативных процессов не может
иметь место случай в), а для консервативных регулярных —
случаи а) и в ) . Обычно предполагается, что все состояния
ПМП нормальны. В этом случае классификация состояний
ПМП в основном совпадает с классификацией состояний
вложенной в £(£) цепи Маркова. Пайк [215] доказал, что
в неприводимом сильно регулярном ПМП все состояния или
возвратны, или невозвратны. Этот результат был усилен Чеонгом [128], не предполагавшим строгой регулярности. В ра­
боте [216] построены примеры неприводимых возвратных
ПМП, у которых вложенная цепь невозвратна. Последнее
имеет место всегда, когда ПМП регулярен, но не сильно
регулярен.
Условия, при которых сильно регулярный ПМП положи­
тельно возвратен, состоят в следующем.
50
Пусть \лц — среднее время возвращения в t-oe состояние,
йг — среднее время пребывания в i-м состоянии.
Т е о р е м а (Пайк, Шауфедь [217]). Сильно регулярный
неприводимый ПМН положительно возвратен (т. e. y,n<jx>, i£E)
тогда и только тогда, когда а ; < о о , i£E и существует
сходящаяся последовательность положительных чисел {yt}
такая, что
1&Е
где 8^—дельта Кронекера.
Близкий результат получен также Г. И. Призвой [81].
Вслед за введением понятия ПМП ряд авторов предло­
жили различные способы конструктивного задания ПМП. Так,
ПМП можно задавать:
а) матрицей P—{Q^(oo), г / € E } вероятностей перехода
вложенной в ПМП цепи Маркова {5„, л > 0 } и матрицей
Р(х)= {Qu(x)l Qu(oo), i, / 6 E} функций распределения слу­
чайных величин \tJ — времен пребывания процесса в i-м со­
стоянии с последующим переходом в /-ое состояние [215]^
б) вектор-функцией распределения p(x) = {Pl (x), i€E}
времен ипребывания в г'-м состоянии и матрицей q (и) =-=•
—{Яи ( )> * > / € £ } • где Чи (и) — условные вероятности
перехода из i-ro состояния, в /-ое при условии, что в i-м
состоянии процесс провел время и. (В. C. Королюк [64]);
в) матрицей независимых неотрицательных случайных
величин {Cu,i,/<cE} таких, что
-/ —Е°Л№Е
• '
где ^ij имеют функции распределения
-«<«-•-«--И™]о
о^ — индикаторы случайных событий minC(A = C.), знак = озll£E
начает одинаковую распределенность случайных величин
с^ева и справа (В. С. Королюк, А. А. Томусяк [67]);
г) матрицей {GtJ(Z, s), i , / 6 E } , где
Ou(Z;S)= %je-°tdP{N(t)=l,W)
=
'й>0°
= j|e(0)r-i}2*««§> ... г*п,
(1.3)
где Z = {bt, j гJt ij £ E}, \ Zj\ < 1, / GE-—{-Tn} (Цинлар [139])
4*
51
Из "приведенного выше определения ПМП и различных спо­
собов его задания видно, что ПМП является процессом, обла­
дающим, с одной стороны, свойствами марковского процесса
(так, в момент перехода ПМП !-(£) будущее не зависит от
прошлого), с другой стороны, свойствами процессов восста­
новления (именно, моменты последовательного попадания
ПМП | ( 0 в фиксированное состояние образуют процесс вос­
становления).
Таким образом марковость ПМП|(-У нарушается в про­
межутках между переходами, однако оказывается, что если
наряду, с i('t) рассматривать процесс, описывающий поведе­
ние i (t) между переходами, то полученный новый двумерный
процесс является марковским. Именно так и поступили Пайк
и Шауфель [217], определив ПМП как первую компоненту
некоторого двумерного марковского процесса, обладающего
строго марковским свойством, и указали тем самым место,
занимаемое ПМП в общей теории случайных процессов.
Такое понимание ПМП особенно важно в случае, когда фа­
зовое пространство процесса является более общим, чем
E - { 1 , 2, ...}.
Определение ПМП, приведенное выше,' может быть с оче­
видными изменениями перенесено на случай более общего
пространства с той ЛИШЬ разницей, что роль полумарковской
матрица Q(x) играет полумарковское ядро, определяемое
следующим образом. •
Пусть Е — локально компактное хаусдорфово пространст­
во со счетной базой и If =S9(E) —наименьшая а- алгебр а, со­
держащая борелевские множества из Е.
О п р е д е л е н и е 1.7. Q(x, A) называется полумарковским
ядром, если:
1) Q{x,A) определено для V x € E и уА£ёХ '93 ([0, °о));
2) Q (x». •) — вероятностная мера на § X Ъ '([0, оо)) для
vxeE;
'
• -••
3) Q (х, Л) — ^-измеримая функция для у A £ ёХ 23 ([0, оо)).
4) Q ( x , E X ( - o o , 0 ) ) .
•Полумарковские'процессы с общим фазовым пространством
с различной степенью общности вводились в работах В. С. Королгока и И. И. Ежова [55], И. И. Ежова и А. В. Скорохода
[58], Цинлара [140], Серфозо [226], Жако [172] и др.
ПМП допускает различные модификации и обобщения,
приводящие к новым содержательным классам случайных про­
цессов.
Если временной параметр, ПМП l(t) принимает значения
из некоторого дискретного множества Т, то естественно го­
ворить о полумарковских цепях. Специально полумарковские
цепи рассматривались Анселоном [121] и К'ейном [126].
52
Ю. К. Беляев [19]. определил процессы, названные им
линейчатыми марковскими, как двумерные марковские процессы {|(t), u(t)}, где
u(t)=:t-sup{и:
t(и) =£t(t)}
(1.4)
— время, прошедшее после последнего перехода ПМП £(/).
Можно определить процесс {.£(.0, v(t)}, где
v(i) = ini{h>t:
4(a) i= %Щ - t
(1.5)
— время, оставшееся до следующего перехода -1(f), оказы­
вающийся также марковским, причем линейчатые марковские
процессы {|(0, u(t)} и {l(t), v(t)} обладают строго марков­
ским свойством.
И. И. Ежов [47] ввел процессы, названные им марковски­
ми процессами с полумарковским вмешательством случая,
обобщающие линейчатые марковские процессы Ю. К. Беляева.
Близкий класс так называемых процессов марковского вос­
становления с дополнительными траекториями (Markov Re­
newal Processes with auxiliary paths) рассматривали Пайк
и Шауфель [217, 218] и Шель [220J.
И. И. Ежовым и Г. Арсенишвили [11—17] были введены
и изучены полумарковские процессы r-го порядка (обычные
ПМП соответствуют случаю / — 1). Процессы, обобщающие,
с одной стороны, марковские процессы с полумарковским
вмешательством случая и, с другой стороны, ПМП r-го по­
рядка, рассмотрены в работе И. И. Ежова, T, Гергея, И. Н. Цу­
канова [33].
В работе Г. Ш. Лева [74] введены так называемые ПМП
умножения — процессы,' весьма близкие к ПМП, но с/совер­
шенно иной геометрией траекторий, а в [75] найдены условия
сходимости таких процессов к диффузионным процессам.
Отметим также работы Нёйтса [209, 210], в которых ПМП
рассматриваются с точки зрения неоднородных ветвящихся
процессов.
Леви [194] показал, что ПМП, являясь обобщением мар­
ковских цепей, очень близок к последним в том.смысле, что
выборочные функции цепи Маркова есть соответствующим
образом модифицированные выборочные функции ПМП. Эта
близость характеризуется Леви тем, что оба процесса имеют
одну и ту же последовательность состояний. Более детально
.эта связь изучена Якелем[242].
Пусть E-— множество устойчивых состояний Т\ЬА1\Ч(1)
Ст. е. таких, что { x d P { 6 ; < x } < o o ; /.GEo). E\EQ—множе­
ство мгновенных состояний. Для каждого i£Eu определим
53
последовательность взаимно независимых, не зависящих от (• (^)
случайных величин {zlk, i(zE0, k —1,2,...} таких, что
/4*<*>'} = exp{-V}.
где \t — медиана распределения времени пребывания в i-м со­
стоянии. Положим (см. (1.5))
*iW'™W
,"еслиО<У(0<оо;
V(t)
<К-) = 1, если i i ( 0 € E \ E 0 ;
О, в остальных случаях
и пусть
.у
:(0=-inf{s: [ <H«)d«>t}
T e o'ip е м а (Якель [242]). Процесс \ (% (t)) измерим, име­
ет одинаковую последовательность СОСТОЯНИЙ С £(.0 и яв­
ляется марковским процессом.
Для случая ПМП с общим фазовым пространством Серфозо [226] усилил результат Якеля, рассмотрев случайные
замены времени, переводящие ПМП в ПМП и, в частности,
в марковские процессы.
В работе Курца [190] была рассмотрена случайная заме­
на времени, переводящая марковский процесс в полумарковский.
'
'
Другой тип преобразований ПМП рассматривался Цинларом [134, 135]. Пусть Е — конечно. Предположим, что в мо­
мент Т,г МОЖет ПрОИЗОЙТИ ОдНО ИЗ СОбЫТИЙ Al, A2, ... , AmПусть zn— случайная величина, равная /, если в момент
хп произошло событие A3-. Фиксируем одно из т, например,
т = т0. При различных предположениях относительно зави­
симости гп от l(t) изучается процесс v
y(t) = i{Sn),
Sn<t<Sn+l,
где S 0 , Sv ... —- моменты появления события АШо. Если zn
зависит только от {%,, /г>-0}, то имеет место
Т е о р е м а (Цинлар [135]).
Y(t)~ПМП.
Показано, что g(t) однозначно определяет процесс Y(t).
Тот же результат сохраняется и в случае марковской зави­
симости zn от {In, n^O}.
В работе Серфозо [225] найдены необходимые и доста­
точные условия, при которых f(|(t)) —ПМП, где /(•) при­
нимает значение i, если i Et и E=(jEi, EinF..—0 есть не­
которое разбиение фазового пространства. Соответствующие
условия близки условиям Кемени — Снелла для конечных це­
пей Маркова.
54
§ 2. УРАВНЕНИЯ МАРКОВСКОГО ВОССТАНОВЛЕНИЯ
О п р е д е л е н и е 2,1. Уравнением марковского восстанов­
ления называют уравнение вида
t
X(t) = Q{t)+^Q(dy)X{t-y)t
(2.1)
о
где Q (x) — полумарковская матрица, задающая ПМП ij(t).
G(/), и X (t) —- соответственно известная и искомая матрица
или вектор, компоненты которых равны нулю для всех
t£(—oo, 0). В частности, когда О (t) ----- {Ok (t), k £ E } , урав­
нение (2.1) записывается в виде
t
X*(-•)--= О * ( 0 + S \Qbj{dy)Xj{t-y);
k$E,
(2.2)
К уравнениям марковского восстановления приводит изучение
различных характеристик ПМП. Так, пусть Ft (t)== P {•;(•-)----
-=/|S(o)-=/}, АЛ?>-= 8 и(----/(-)).
Тогда
t
FiJ(t)^Di/l(t)+^3^Qill(dy)FftJ(t~y)
(2.3)
(Феллер [151]).
Если
MjW^EiNjiWm^-ty+hj,™
t
Mu(i) = bu+% \Qik(dy)MkJ{t-y)
(2.4)
лея о
(Пайк [215]).
Пусть фазовое пространство ПМП %{t) разбито на два непере­
секающихся множества Е = E01J Ei. Обозначим через Cz время
пребывания ПМП \(t) в классе E 0 до попадания в Ех при
условии, что -.(О)-— i€Eo- Н пусть ut (t) — P{t.- < t } . Тогда
t
e t (0 = l - - ° / ( 0 + S \Qu,&y)4(t-y)>
(2.Б)
й6£о О
B.C. Королюк [64]).
Многочисленные примеры уравнений марковского восстанов­
ления содержатся в работах [215—218, 202].
Цинлар, использовав подход Нёйтса, получил довольно
общие уравнения марковского восстановления. Пусть Z,(t) —
ПМП с конечным фазовым пространством £ = { 1 , 2,..., я].
Положим
t
'55
k,j(%S,t)=
-J..exp{-2-«/^}rf-../J{6(<)=7,
x>o
N(t)=k,
С ( 0 < * 16(0) =-=/},
со
k
R,j(Z,SA)=°
S z^zt\..z nn^
exp{-\t}dtRtj(k,
— >
о
где ReX>0, S = {bu ., /,jt=E}.
Теорема (Циилар [ 139]).
. ^(Z,S,X) = [ / - Q ( U + S)Z]- 1 5(X/ + S),
где
S, t),
(2.6)
Q(s)-—jexp{-^}dQ(i),
D(s)=\exp{-st}dD(t).
°
Вопросы существования решения уравнения марковского вос­
становления и его единственности были исследованы Феллером для уравнения (2.3).
Пусть Q(s)— j exp{--st}dQ(t),
аналогичный смысл имеют
D(s), E( 5 ).
Теорема (Феллер [151]). Уравнение (2.3) всегда имеет
минимальное решение, преобразование Лапласа - Стилтьеса
которого имеет вид
F(s) = (/ + Q(s) + Q-(-s) + ...)S(5),
(2.7)
т. е.
t
,
.
F(t)=~iR{dy)Q{t-y),
••
(2.8)-
где
^ (0 = /+Q(t)'+Q(")(/) + ...
(2.9)
и Q("'(t) - я-кратная свертка матрицы Q\t) с собой. Мини­
мальное решение единственно тогда и только тогда, когда
уравнение
,
Q(s)X(s) = l(s)
(2.10)
имеет лишь нулевое неотрицательное решение. В частности,
минимальное решение единственно, если все состояния вло­
женной в i(tf) цепи Маркова возвратны.
56
Цинлар, используя результаты о положительных операто­
рах сжатия, исследовал уравнение (2.1) в классе М векторфункций X (t) таких, что | X (t) || == sup | Xk (t) I ограничены
к6Е
по t в каждом конечном интервале.
Т е о р е м а (Цинлар [141]). Уравнение (2.1) имеет реше­
ние x\t)€.M тогда и только тогда, когда Д*О^М. Любое
решение Л (/) €.М представимо в виде X (t) = R«0(t\ + С (t),
где С (t) удовлетворяет уравнению
C»Q(t)^C(t),
C(t)£M.
Единственное решение уравнения (2.1) вида X(t)—R*G(t)>
существует, если выполнено любое из четырех условий:
1) матрица Q(t) конечномерна;
2) вложенная в ПМП цепь Маркова неприводима и поло­
жительно возвратна;
3) \Р (01= sup IP/(О К - ДЛЯ некоторого t > 0 ;
4) для некоторого s^>0 существует 8 > 0 такое, чтоsup 'Р\ (s) < 1 — S.
Феллером указаны также критерии неединственности ми­
нимального решения уравнения (2.1). Пустб А—множество
пребывания (sojourn set of states), т. е. множество состояний
из E, на котором цепь Маркова, порожденная матрицей пере­
ходных вероятностей Q(x) при фиксированном x€ (0, {infty})
с положительной вероятностью, никогда не оборвется.
Пусть
.
B = {lT~-dQu(x),
i,jeE),
О
W - - 2 Р«В,
п=о
где P = {pu = Qu(oo),
i,J£E}.
.
.
Т е о р е м а (Феллер [151]). Минимальное решение неединственно тогда и только тогда, когда существует множест­
во пребывания A такое, что.
jGE
Уравнения марковского восстановления выписываются для
определенных характеристик случайных величин, связанных
с ПМП и ПМВ. Чаще полезно иметь представление о связи
самих случайных величин, т. е. знать, каким образом инте­
ресующая нас случайная величина связана с теми, распре­
деления которых нам известны.
57
В. С. Королюком [64] рассмотрен стохастический аналог
уравнений марковского восстановления.
Пусть l(t)—ПМП, определенный на Е. Пусть, далее,
•случайные величины aii —- индикаторы перехода ПМП £(t) из
i-го в /-ое состояние:
Г 1 с вероятностью qt (9Z),
a
ij — ai\ ^ ~ | 0 с вероятностью 1 — Яцфй,
где ^ij(t) —условная вероятность перехода из i-го в /-ое со-стояние при условии, что Qi=t, так что
О п р е д е л е н и е 2.2. Стохастическим уравнением мар­
ковского восстановления называется выражение
JGE
где i\i —- случайные величины, определяемые ПМП, распреде­
ления которых известны, х,., У.[ независимы для \fi£E и оди­
наково распределены, щ, У.1 И aii, x' попарно независимы.
'Соотношения (2.11) полезны при выводе уравнений (2.1)
(см. В. С. Королюк [64]; В. С. Королюк, А. А. Томусяк [67];
В. В. Анисимов [2, 3]; Д. С. Сильвестров [95, 96] и др.).
§ 3. ПОЛУМАРКОВСКИЕ МАТРИЦЫ
И ФУНКЦИИ МАРКОВСКОГО ВОССТАНОВЛЕНИЯ
Пусть Q(x) —полумарковская матрица, Q{s) —ее преоб­
разование Лапласа — Стилтьеса и предположим, что уравне­
ние (2.10) имеет лишь нулевое неотрицательное решение.
В этом случае по теореме Феллера существует M(s) = (I —
—<5(s))--. Анализ спектральных свойств Q(s) с использова­
нием известных теорем Фробениуса и Перрона о корнях
положительных матриц приводился в работах Цинлара
[139,141].6
Имеют место известные результаты о неприводимости, раз­
ложимости, существовании максимального по модулю поло­
жительно собственного числа.
Предположим, что все состояния ПМП S (^) образуют один
возвратный положительный клаес и пусть p = {ph i£E} —
стационарное распределение вложенной в процесс цепи Маркова
•и
Т
'г
at = \ xdPi (x) < схэ.
58
Теорема (Циил'ар [139]).
lim-^Q(s)=-—2p^.
-~*о
(3.1)
i&E
Значительно больший интерес представляет изучение матриц
Я (0 - 2 J Q('° (О
и
R-C-O ДЛЯ получения широкого класса
Л--.0
предельных теорем и нахождения соответствующих асимпто­
тических разложений.
О п р е д е л е н и е 3.1. Функция
оо
Л--0
называется функцией марковского восстановления. Для функ­
ции марковского восстановления имеют место аналоги теорем
Блекуэлла и узловой теоремы Смита теории восстанов­
ления.
Теорема. Если i,(t)—неприводимый возвратный ПМП
то у», / € E , V<?>0
t -> оо
Г//
Теорема. Пусть G^(t), /€E> — непосредственно инте­
грируемая по Римаиу функция. Тогда если .-(^•—•неприводи­
мый возвратный процесс,что yi, j$E
oO
t
lira f Ru (dy) Оj (t-y)
= J-\
0
Оj (x) dx..
(3.3)
0
Доказательства этих теорем для ПМП различной общности
имеются в работах [215, 241, 217, 174,'66]. Более тонкий ре­
зультат доказан Хантером. Предположим, что случайные
величины |ij, j, / £ E, имеют абсолютно непрерывные функции
распределения и пусть
о
ПОЛОЖИМ
/u(-) x to.- А*)
для n = - l , ,
t
/№<«•• * ) :
Yi I ?ш~Ц (-. * - u)fkj (°. ») -*« для n > 1,
Л/И^-) = Е / | " / ( o , t ) < c o ,
Я=0
59
hu (о, X) = Г eashu (о, -5) ds,
о
со
Теорема. (Хантер [171]). Беда
A: fu{t)-+0 при *->0. ,
В: для некоторого достаточно малого о.>0 11ц (о, t)~*0
при t->oo.
С: hij (о, X) € Lp для некоторого- / ? > ^зависящего только
от с, то
/1ц (оо, t) —•.—-- при t — оо, i, j £ E.
(3.4}
Оказывается верным и в некотором смысле обратное утверж­
дение.
.
Если предельные теоремы (2.13—2.15) для функций мар­
ковского восстановления еще удается получить, то этого
нельзя сказать о соответствующих асимптотических теоремах.
В этом случае приходится использовать преобразование
Лапласа — Сталтьеса 8,{s) функции марковского восстанов­
ления и соответствующие тауберовы теоремы. Асимптотиче­
ские разложения для U{s), точнее первые два'члена этого
разложения были получены Кширсагаром и Гуптой [185]
(ш. также [189]), использовавшими для этой цели аппарат
теории матриц. Их результат был усилен Хантером [170]
И' Кейлсоном [183], воспользовавшимися "фундаментальной
матрицей Кемени — Снелла и давших вероятностную интер­
претацию результатам Кширсагара и Гупты. Денардо [143]
указал алгоритм,, являющийся .по существу известным алго­
ритмом Вишика—-Люстерника, позволяющий последователь­
но вычислять члены разложения ^(s) в ряд по степеням s.
Более естественным оказался шодход, связанный с обраще­
нием возмущенных на спектре линейных операторов, предло­
женный А, Ф. Турбиным, использовавшим идеи работы
В. С. Королюка [65].
Пусть 5 (i) —- неприводимый положительно возвратный ПМП.
Обозначим через Р матрицу цепи Маркова, вложенной в i;(t)
и р = {р., i€E}, ее стационарное распределение.
Теорема (А. Ф. Турбин [114]). Если существуют
оо
.
а$»> = Г x"dQu (х), k = Т , 2, . . . , п, i, j £ Е,
о
и вложенная цепь эргодична, то для достаточно малых по
60
модулю s имеет место разложение
^(.s) = (/-Q(5))-i=--—P»
+ r0+sri+...+
+ s"-2 Тп_2 + о (^-~),
(3.5)
где
гея
", — (/ - -1. /-~A.) /?0 (/ _ JL Лх р-) _
--—(Р,
RQ = (I~-P +
А&А^Р»,.
P°°)-l-P°°,
Ai, = {afjPu, i, J 6 £}, к ==- T,~rc,
ТА-и — -Fft-^-i^o + ТЬА%Т-.Х + Г Й _ 1 Л 2 Г 0 '+ . . . + Т_.Лй+8Зг,-_1,
Г_ 1 = -1-Я-, А-=0, л - 3 .
o(s"- ) - о-малое в смысле обычной матричной нормы.
е — вектор, составленный из единиц. Метод, предложенный
в этой работе, применим и в более общих ситуациях.
В работе Стоуна [230] получена факторизация ВинераХопфа для /—Q(s) вида
2
/ — Q (.s) = (/ + -§ (5)) (/ + Л
где
A(s) = (Q(S))\ B(s) = (Q(s))°,
(.у и (.)- —операции проектирования, введенные Бакстером.
§ 4. ПРЕДЕЛЬНОЕ ПОВЕДЕНИЕ ПМП
Исследование предельного поведения ПМП %{t) при t-voo
•является одной из центральных задач теории таких процес­
сов, и ему посвящено большое число работ. Относительно
некоторых из этих результатов речь шла в предыдущем па­
раграфе (аналоги теорем Блекуэлла и узловой теоремы
Смита).
, Смит показал, что если времена пребывания ПМП в лю­
бом СОСТОЯНИИ имеют первые моменты, то |(t) имеет предель­
ное распределение при t-*-oo.
61
Теорема (Смит [227]). Пусть / £ E — непериодическое
состояние процесса £ (t) и 0 < а, < с»
Тогда
lim F, ,lt) -= --—— ,
(4.1)
где т ^ есть вероятность того, что вложенная в % (t) цепь
Маркова, выйдя из г, достигнет состояния J.
В частности, если процесс %(t) положительно возвратен
и {р2, г б E} — стационарная мера вложенной в %(t) цепи Мар­
кова, то
lim "„(О-=-=—-—•
(Ховард [168]).
(4.2>
В работе Фабенса [148] и затем Якедя [241] существование
\1тРи({) было доказано для случая, когда /—• мгновенное
состояние.
Положим
' F+(i,x) = P{Ht)=*J, иУ)<х\Ц0) = 1},
FTj (t,x) = P {I (t) - /, v (t) < x | % (0) -= i).
Смит [227] показал, что для неприводимого процесса
X
HmF+(*, x ) - ~ - f a -/-;(«)) d«-о
= —^—\(\~Pj(u))du.
_
(4.3)
г •" • -
В [148] показано, что
lim Ft (if, x) = lim Fj (t, x).
(4.4)
Г. И. Призва обобщил этот результат, показав, что
для неприводимого положительно возвратного процесса
lim P {v (t) >z,-u(t)>x,
£ (Л/ (t)) = J,
t-+OQ
* ( Л ^ ) + 1)-~--&|!.(0).— 0 —
со
_
' . " « jГ/-.
,..-.,.,da, где S
о^ ,( „) ,=. - <Ь<->
(1 - SоJk{ii))
—--.
й
2'
P./-V .*+-
62
(4.5)
Приведенные результаты показывают, что стационарная мера;
неприводимого возвратного процесса при определенных пред­
положениях является комбинацией стационарной меры вло­
женной цепи Маркова и стационарного распределения процес­
са восстановления. Аналогичный результат имеет место даже
в том .случае, когда вложенная цепь Маркова невозвратна..
Для стационарной меры имеет место следующий важный ре­
зультат.
Пусть
£-={0,1,2, . . . } , mJ = hm(l-biJ)E{Nj(sa)mQ)
= Q},.
t-~roo
где 5|—-mintf, i n f { t > 0 : S(t) = 0}}.
Лемма (Пайк, Шауфель [218]).
Для у ' € E и t > 0
и
ч
Mj= £ Щ S (-3-* ~ <-<* (0) * # w О
г еЕ к еЕ
(4-6>
i
Причем здесь не предполагается возвратности вложенной в % (.*)•
х
цепи Маркова. Стационарная мера ^i(x) — mi \ (1 —-Р- (и))da
-
является вероятностной, т. е. ^ « г (оо) = 1 тогда и толькотогда, когда 5(0 положительно возвратен.
Стационарные распределения найдены для всех процессов,.
порождаемых полумарковскими, о которых шла речь в § I..
Укажем на работы [18, 34, 48, 121, 220] и др. И. И. Ежовым
доказана эртодическая теорема для широкого класса процес­
сов, включающих полумарковские.
Пусть (й, Э, P) —произвольно вероятностное пространст­
во, на котором рассматривается однородный марковский про­
цесс £(.*), обладающий свойствами:
1) существует монотонно возрастающая последователь­
ность случайных величин {хп} такая, что последовательность
i(Tn) образует эргодическую цепь Маркова;
2) распределение 0n-=Tn+i — Хп при всех п полностью
определяется значением случайной величины |(х п ) и не за­
висит от эволюции процесса |(i) как до момента хП) так
и после него.
Положим
Р(а, и, A) = P{Z(tn + u)€A\l(%)*=a,
Qn>ii},
E(«|.a)-P{e„<tt|.;(x/I);~a},
63.
С (1 - F (и | a)) da =- [л (а)'.
о
Теорема (И. И. Ежов [48]). Пусть <р(rf^;) — стационаргное распределение цепи $(-„). Если
оо
Г [* (x) cp (dx) < со,
о
•то
llm P{Z{t) £ А} — Ф (А\ не зависит от S(0) и
/->оо
со
Г tp (da) f P (а, и, Л) [1 - F (и | а)] da
ф(А)=-=£
2
-.
•
(4.7)
(А (о) <р ( d a )
Другой тип предельных теорем для ПМП был доказан
:в работе,Чернга [129]. Для случая процессов %,{t), которые
могут обрываться с положительной вероятностью (фазовое
(пространство Е неприводимо, но не замкнуто), изучались от­
ношения
'
т,и11)-£®*-.-vuWHGE
F W
"
ЩЕ
где ri — вероятность того, что процесс оборвется когда-либо,
выйдя из состояния /. При выполнении определенных усло­
вий, связанных со скоростью изменения F^\t), доказано, что
Wii(if) имеет в пределе /.->-со собственное распределение, не
зависящее ОТ начального состояния и При изучении пре­
дельного поведения ПМП используются самые различные
подходы:
1) для доказательства существования и вычисления явно­
го вида стационарного распределения используется узловая
теорема теории восстановления ([48, 56, 217, 174, 234, 220]
и др.);
2) исследуется существование стационарных мер для со­
провождающих
линейчатых марковских процессов {.-(О. "(0}>
{•НО. v(t)}, откуда находится стационарное распределение
для ПМП ([218, 58])*;
3) исследуются уравнения марковского восстановления
либо их преобразования Лапласа ([168, 141, 70] и др.);
* Общая эргодическая теорема для процессов, включающих полу­
марковские была доказана в 1971 году А. В. Скороходом и сообщена
на семинаре в КГУ (см. Теория вероятностей и её применение. 1972,
17, № 4),
.
•64
4) исследуется граф, соответствующий цепи Маркова,
вложенной в ПМП %(t), и стационарное распределение про­
цесса l(t) описывается с ПОМОЩЬЮ характеристик этого гра­
фа [168, ПО, 112].
Представление об относительном времени, которое ПМП
проводит в определенном состоянии, позволяет получить
предельные теоремы для отношений. Такого рода теоремы
являются естественным обобщением теоремы Дебяина для
цепей Маркова.
Так, пусть
Ftj (х, 0 - Р {«(4— J, и (t) < х 16 (0) - i},
FT] (x, t\ = P {% (t) - J, v (i) < x | % (0) — i},
,/?„ (0. - (1 — 8,ft) E {АГ, (*A)/6 (0) - О + 5,,,
где
sk - min {*, lnf{/->0: !=(j.) — .£}}.
Т е о р е м а ' (Пайк, Шауфель [217]). Для возвратного непри­
водимого регулярного ПМП
/^(-V, и)а.«
.о
Здесь же, а также в работе Якеля [241] получен ряд резуль­
татов для пределов отношений, связанных с табу-вероят­
ностями.
*••'
В работе Чеонга [128] для случая, когда е at[Qa(i) — Ра]
ограничены по t при а^О, получены более общие результаты,
из которых результаты Пайка, Шауфеля, Якеля следуют при
а = 0. B работах Чеонга [127], Нёйтса и Тойгельса [212],
Шеля [221] найдена скорость сходимости к стационарному
распределению.
Предельные теоремы классической теории вероятностей,
такие как закон больших чисел, центральная предельная
теорема, закон повторного логарифма обобщаются на полумарковские процессы и процессы, ассоциированные с полумарковскими. B этом направлении доказаны теоремы для
считающих процессов с конечным числом состояний [234],
рассмотрен случай счетного множества состояний [217], рас­
сматривались предельные теоремы для времени .пребывания
в случае сходимости к устойчивому заколу (не обязательно
нормальному) [184].
Результаты указанных работ значительно обобщены и уси­
лены в работах В. В. Анисимова [1—4] и Д. С. Сильвестрова [95,96,99].
5
Заказ №. 382
65
§ 5. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ ПМП В СХЕМЕ СЕРИЙ
В последнее время значительное внимание уделяется из­
учению различных функционалов от ПМП в схеме серий, т. е.
когда ПМП £Е (t) зависит от параметра е, принимающего не­
которое дискретное или непрерывное множество значений.
• .Одним из наиболее важных функционалов от ПМП, имею­
щего многочисленные применения, является время пребыва­
ния процесса в фиксированной области своего фазового про­
странства Е. Пусть Е •-= Ео U E1. Обозначим через £i время
пребывания ПМП l(t) в подмножестве £ 0 до попадания в ка­
кое-либо из состояний подмножества Ei при условии, что
начальным состоянием было idEQ. Положим fi(s) = JE{e'MТ е о р е м а (В. С. Королюк• [64]). В случае конечного Е
fi(s) являются решениями следующей системы алгебраиче­
ских уравнений
S(-o--Q^(^))^(5)-2^JGE0
.
(5Л>
j eE,
В частности, если inL есть среднее время пребывания процес­
са £ (^), вышедшего из i £ E0, в EQ, то
Щ = a,i + S Pik^r
(5-2)
А6Я0
Обобщение этой формулы на различные процессы рассматри­
валось в работах [17, 62, 158] и др.
Пусть E- = {0} и переходные вероятности вложенной в ПМП
lj,(t) таковы, что peiQ^=eqi0 для iSEi- В [§5, 69,115, 5] по
казано, что если вложенная в i,0 (t) цепь Маркова имеет пре­
дельное распределение и а / < о о , 1£Е0, то при соответ­
ствующей нормировке распределение времени пребывани?
в классе Ей стремится к показательному, найдены асимптоти­
ческие разложения для преобразования Лапласа времен пре­
бывания процесса £е (t) в E0.
В работах [5, 104] установлен вид предельного распреде­
ления времени пребывания £6 (t) в Е0 в случае, когда матема­
тические ожидания времен сидения бесконечны.
Одной из первых была рассмотрена задача о сходимости
сумм бесконечно малых считающих процессов к предельному.,
Пусть Nkr(t),
г =5 1, k, k — 1, 2,..., —последовательность
считающих процессов, построенных по ПМП $йг {i) с общим
фазовым пространством E = {1, п), заданных с помощью мат­
риц {Qfp (x), i, л£Е) {P\'jr\ i, / € E } и векторов начальных
распределений {а[!"">, i£E}.
-->•
,
'
—5-
Т е о р е м а (И. Сапаговас [88]). Если Nhr(t)
ряют условию бесконечной малости, т. е.
66
удовлетво­
lim max P {^ MPr (t)>ol
ft-юо K r < «
== 0,
ICE
где Nkl (i) — число попаданий процесса %kr (t) в состояние i
за время .(0, / ] , то для сходимости при k—> оо сумм незави­
симых процессов
ft
.
•
•
r = l
—>
к процессу Пуассона с ведущей функцией A (t) — {\L (t), i £ E)
необходимо и достаточно, чтобы при любом t^-6 выполня­
лись условия
иш_2аГдй°(о-=^(0. /е-?.
lim2f 2 ^ ' W ^ Q ^ ( ' ) } - = 0,-6£.
*-"---.А./,«-я
В работе М. A.• Ястребенецкого [120] были найдены условия
сходимости сумм ПМВ к ветвящемуся процессу Пуассона.
Иного типа постановка задач рассматривалась в работе
B. С. Королюка, Л. И. Полищук, A. А. Томусяка [66].
г
Пусть lB(t) — ПМП, определенный на Е,
E =--.[__] E-,,
Et П Ej —. 0 , I -7-= / , i, y = l, г, 1и вложенная в .=. (t) цепь
Маркова имеет вид:
. _ | />i$> + *?i$U, / € E f t ,
иначе говоря, вероятности перехода ПМП i;, (t) из одного
класса Ek в другой Е1 имеют порядок е, е — малый параметр.
Предположим, что
1) цепи Маркова {&1\ и > 0 } , k=l, г, с матрицами ве­
роятностей перехода [р\)\ i, /€E f t } эргодичны со стационар­
ными распределениями р(* — {р(г*>, i£Ek}',
2) 0 < a ; < o o , i € E ;
3) существуют такие k, I и i £ Eft, что 2 '-i/ 0 т4 °- 0 б ° 3 "
начим, далее, через / ( • ) функцию, принимающую одинаковые.
значения на классах состояний Et, т. e. f(x) — i, если
."!;£„ j = l, Г.
К*
67
Теорема (В. С. Королюк, Л. И. Полищук, A. A. Toмусяк [66]).
/ ( \ ( — ) ) в смысле конечномерных распределений
сходится к цепи Маркова, y которой вероятности переходов
между состояниями равны
1
P<*)Q<
кИ) 1 1 г
^= Лг> > - > >
(5 3)
-
а параметры времен сидения в k-м состоянии равны
где
A=I
г
е{ь)
_ вектор-столбец с компонентами
1, i € E * .
е<й) — \
Этот результат был обобщен в работе В. В. Анисимова [10],
рассмотревшего общую задачу об асимптотическом укрупне­
нии ПМП без предположения о конечности математических
ожиданий времени пребывания в состоянии. В общем случае
предельный укрупненный процесс оказывается полумарковским, распределения времен пребывания в состоянии которого
найдены явно (см. также [41]).
Наиболее общие предельные теоремы для ПМП в схеме
серий в настоящее время получены в работах В. В. Анисимо­
ва и Д. С. Сильвестрова [5, 6, 9, 91—98].
Пусть ПМП % (() принимает конечное ' или счетное число
возможных значений E и зависит от™ некоторого параметра е,
1° — состояния в момент п-то перехода, 8= — времена , пребы­
вания в состоянии §. Пусть заданы случайные величины
г,Е,(г\ x), i g E , х£[0, c=o), независимые в совокупности и оди­
наково распределенные при различных значениях п. и при фик­
сированных е, i, х. В цитированных [выше-работах изучено
предельное поведение при t -> со и е —> 0 следующего функ­
ционала:
,
VE ( О
/ 6 w = S т; (*.;' б,6,}
л=1
при различных предположениях относительно характеристик
ПМП 6.(0 и rn{h x)..v«(t).
68
Наиболее полно изучены случаи, когда v- (t) — Ne (zf) - •
число переходов процесса i.s (t) за время (0, г.], либо v-(t)----п
==min-{..V-(t), U , где С.--max {л: Пс£(6J) = l l , a
Cj(i)-
ft=i
независимые в совокупности случайные величины,
принимаю­
щие два значения 0 и 1 с вероятностями ре (г) и 1 - рв (i)
/
соответственно.
6 частности, пусть Е',= {1; п},%?'(г.) = N"\t). и т„(Л x) =
- = 0 ! - ? + P E / » ^ i где а - и Ре - нормирующие множители, a <pи / ; — действительные параметры. При таком задании функ­
ционала, / - \t) можно получить совместные предельные рас-*
->
пределеиия векторов N(t) = {Ni(t), i£E} и Q (t) = {Qt (t),
GE}, где Qt(t) — суммарное время, проведенное процессом
e(t) в состоянии i за время (0, t] при е->0.
Основные предположения, при которых доказываются
предельные теоремы для функционала fE(0> СОСТОЯТ В следую­
щем. Во-первых, предполагается, что вложенная в ПМП цепь
Маркова £* СХОДИТСЯ К эргодической предельной цепи Мар­
кова. Во-вторых, предполагается, что одинаково распределен­
ные случайные величины yjj (i, x) при фиксированных i и х
притягиваются к некоторому безгранично делимому распреде­
лению. Наконец,-предполагается также, что времена пребыва­
ния в отдельных состояниях, либо времена возвращения
в фиксированное состояние ПМП также притягиваются к не­
которому безгранично делимому распределению. При этом
используется представление рассматриваемого функционала
f6(/) в виде суммы независимых одинаково распределенных
величин, накопленных за время возвращения в фиксированное
состояние. (Обобщение метода Деблина).
В работах Д. С. Сильвестрова [101, 102] рассматривались
также более общие задачи сходимости случайных процессов
fR(st), s £ [0, 1] и функционалов от таких процессов, непре­
рывных в равномерной топологии или в топологии А. В. Ско­
рохода.
Глава
II
ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ
В последнее время появилось значительное число работ по
теории массового обслуживания, теории надежности, исследо­
ванию операций, в которых изучаются системы с помощью
полумарковских процессов. В этот далеко не полный обзор по
применениям полумарковских процессов включены, прежде
всего, те работы, которые представляют методологический ин­
терес или в которых получены новые результаты.
69
§ 6. ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ
В ТЕОРИИ МАССОВОГО ОБСЛУЖИВАНИЯ
Работы, в которых исследуются системы массового обслу­
живания, можно разделить на те, где анализируются системы
массового обслуживания с ПОМОЩЬЮ вложенных полумарковских цроцессов, процессов марковского восстановления и те,
в которых применяются полумарковские процессы для описа­
ния систем массового обслуживания.
Так же, как и с помощью вложенных цепей Маркова, при'
исследовании немарковских систем благодаря вложенным
полумарковским процессам можно получить ценную информа­
цию-относительно ее параметров. Так, в работе Фабенса
[148] исследуется с ПОМОЩЬЮ вложенного полумарковского
процесса однолинейная система с ожиданием тина M | G | 1 ,
когда обслуживание протекает партиями объема К в течение
случайного промежутка времени с 'функцией распределения
Н(х). Если в очереди имеется меньше,-чем К требований, и
обслуживающее устройство свободно, то очередное обслужи- ваиие начинается в момент времени, когда в очереди станет К
требований. Пусть X(i) —-число требований в системе в мо­
мент t. В работе стационарные вероятности
Pi=lim.P{X(*)-t|X(0)}
определяются через стационарные вероятности pi и pi для
вложенной цепи Маркова gn = X(tn + 0), ri—l, 2, ..., и вло­
женного полумарковского процесса, где в качестве точек ре­
генерации выбираются моменты {хп, п = 1, 2, ...} ухода требо­
ваний из системы. Для производящей функции
оо
-(2) — 2 р^г
г=о
вложенной цепи Маркова {!,„} получена формула
где
CO
о
и
©1, .юг, ..., со.к-1 - корни внутри единичного круга уравнения
г* = Цг).
70
Вложенный полумарковский процесс £(Q строится таким
образом, что его переходы происходят в моменты тп.
п — 1, 2, ..., и в моменты т./, n = 1, 2, ..., когда длина очереди
р,авна К.
Для вложенного полумарковского процесса
Я(х),
i>K,
./•--о
J
•
где X — интенсивность входящего потока, а стационарные
вероятности вложенного ПМП согласно (4.2) равны:
( cpt,
i<K,
p\ = \c{? + pK),l=l,
'
(6.3)
I ср., г>/С,
где
с=-т+т' И
P==
SP<-
Стационарные вероятности FL (x) для линейчатого~марковского процесса {%(t), U (г.)} согласно [формуле (4.3) с уче­
том (6.3) равны
О
Fi(x)=
c(p +
j=0
?ll)^[\~-N,(u)\da,
cpi \\\—H.(u)\dtt,
Наконец, стационарные
следующим образом:
i = K,
i>K.
вероятности Р г
' Л=-ГЕР^
(6,-1)
определяются
«*•
-°i--! 2 p ^ f ^ r - 5 - X B [ 1 - H ( « ) ] ^ +
•> в )'"*- е -х«[1_Я(»)]йа, i'>/C.
o
Аналогичным образом исследуются в работе Ламботт
[191] однолинейная система M|G|1 и G/|M|L По вложенной
71
цепи Маркова {!;-..} конструируется вложенный полумарковский процесс. Показано, что стационарное распределение
длины очереди {Pi} выражается через стационарные распре­
деления вложенного полумарковского процесса
Z(t) = XN{t)> где N(i) =
sup{n:xn-^.t},
где -„ —- моменты ухода требований в случае системы М \G\ 1
и -„ — моменты поступления требования в случае системы
01\М\1. Для системы M | G | 1 получено
/
00
p
i= y±[llmP{X(t)'=i\i(t)
= i, u(t) = x}dF+(x),
7=0 О
где
E+ ( x ) - lim P {£ (t\ — j , и (t) < x},
t ~ > CO
**
а для системы 01 ] M11
/
DO
£, - 2 \ lim Я {X (t) — -1^0 = j . © (t) = x} dFJ (x),
j=0 0
где
F~T(x) = lim P {5 (t) = / , v (i) < x}.
В работе Цинлара [141] исследуются однолинейные систе­
мы М\ G| 1 и G/|Af 11 с ожиданием с помощью процессов мар­
ковского восстановления.
Система G/|M|1 описывается процессом марковского вос­
становления, {;gn, Гп}, где X(t)—длина очереди в момент t,
t n - м о м е н т поступления га-го требования и | n = X(tn— 0).
Уравнение марковского восстановления (2.1) в этом слу­
чае имеет вид:
Pj(X(t) = k) = [\~F(t)]IfJk{t)
+
t
v 0
где
е
7/ТТ—Ж'
•-><*<./+ 1,
со
Н »{*)<
2 «-«-—gi, А—о,
я=Л-
[0
в остальных случаях,
2 Q ^ W — -Di(x) — E ( x ) - ф - р. промежутков времени между
J
72
поступлениями требований. Применяя • теорему 3.3 для (6.6),со
получим, что при оф->-1, где а—. \ [1 — F (х)] dx < с», а
i
^ — интенсивность обслуживания, существует
распределение длины очереди
стационарное-
/ 3' , = i<х[л.( lv - B ) ( ' . W
где со — наименьший корень уравнения
В случае системы M|G|1 процесс {£,п, tn} является мар­
ковским процессом восстановления, где tn —• моменты ухода
требований, a |n = Х(хп + 0)—длина очереди в моменты
ухода из системы. В этом случае уравнение марковского вос­
становления имеет вид:
t
iHj0(du)e-xv*v,'
если
k = 0,
t-u
\ RJ0 {da) J Xe-^fl - H (t - a Pj{X(t)=k}^
о
о
— x)] Hk-i {t — it—x) dx -4k
(6.7).
t
+ 2S^J--«)[1-H(--«)]X'
"=10
X # i - , ( t - « ) , A>0,
где / ? ^ (^) — элементы матрицы R {t\ =^Qn(i), a
Если p -— Xp; где X — интенсивность
входящего
потока и
DO
Р == \ [-•.-" Hi11)] du < со — математическое ожидание времени
о
обслуживания, то
р0, если /г -—- 0,
-°* =
Jtl-H(J-)]
2p*H*-»(-«) + Po-^*-i(-«) dx, A>0. (6.8).
• v = l
Из (6.8), переходя к производящей функции, получим извест­
ную формулу Хинчина — Поллячека:
(1- Р )(г-1)Я(Ч1-г))
•2Р**'
Е -^
г - Я (4(1--г))
73
В статье Шеля [222] исследуется СВЯЗЬ между стационарным
распределением-вложенной цепи Маркова и стационарным
^распределением исходного процесса. Для систем Af|G|l пред­
полагается, что функция распределения времени обслужива­
ния зависит от длины очереди в момент ухода требований.
Такая система изучается с помощью вложенного полумарковского процесса, заданного вероятностями переходов:
(1 — е~Хх)* Д°. (х) для любого / , I = 0
QiJlx)= ity-i+iix)
/>i-l>0, \
(6.9)
0
/<г-2
т вложенной цепи Маркова, для которой вероятности пере­
хода равны
R0. (оо)
для любого /, I — 0
(
«где
Я}_<+1г(+:°о)
0
X
j>i~l>0,
/<г-2, '
bj=.\[\-Hj(v)]dv.
Показано, что вложенная цепь Маркова эргодическая, если
sup %bj < I для некоторого целого числа / и, что верна теорема Хинчина о стационарности длины очереди.
Аналогично исследуется однолинейная система QI\M\\,
когда распределение промежутков времени между поступле­
ниями требований G_. (х) зависит от длины очереди в момент
поступления требования. Найдено стационарное распределение
длины очереди Рк =
, где р^ — стационарное распре-
.-•2р.<-/*
t
деление вложенной цепи Маркова, а
СО
cti = \[\ —
_
'
V
Oi(x)]dx<ioo.
о ,
Интересное исследование однолинейной системы с ожида.нием с помощью вложенного полумарковского процесса про­
водится в работе Нёйтса [209]. Пусть X(t) —число требова­
ний в системе в момент t. Выберем в качестве точек регенера­
ции моменты Tn следующим образом: t0-=0 и,хп+и n > 0 —
моменты времени, в которые все требования, имеющиеся в мо.74
'
'
-
будут полностью обслужены. Если в момент хп нет
требований, то хп+\ — момент времени, когда первое поступив­
шее требование после момента хп будет обслужено. Строится
вложенный полумарковский процесс
MeHTbl t n ,
где
б., = X {хп + 0,) и Nit) = sup {п. :^<t}
в предположении, что X(t0) — i, для которого
I"
-
Qu (х) — jj е-"« -Qf-dlft
(и), i > 0, у ;> 0,
;
•
Q o , (x) = j [1 - е-* <*-«>] d Q l . (в)>
(6.10)
у>0,
о
где Ht(x) i-кратная свертка
Вводится вероятность
Н(х).
' o^(0-=P{--<^6e=-y,ee^o1
k^o,...,ti-\^=i}
и показывается, ЧТО производящая функция
где oP\f(s)—преобразованиелЛапласа — Стилтьеса uP\n)(t) мо­
жет быть с помощью функций T„(-s, z) представлена в виде
ЮЯ<") (s, г) - Т< (s, z) - т ^ , (s, 0), и > 1.
Основные характеристики системы выражаются через функ­
ции т„ (s, z), которые определяются с помощью рекуррент­
ных формул:
T«+i(-S- г) = Я ( 5 + Х-Хт п (5,г)), я > 0 .
Показывается, что при Х£<1, lim r„(»s, 0).==т (5) является
/1.~>оо
преобразованием Лапласа —Стилтьеса для функции распре­
деления периода занятости при i = 1, а производящая функ­
ция стационарного распределения вложенной цепи Маркова
имеет вид
P(z) — l - P o 2 ( i - T „ ( 0 , z ) )
И
•
•
Ро - =
z
1
:—•
-+ St--T«(o,o)] .
л=1
'75
С помощью рассмотренного вложенного полумарковского
процесса определяется распределение для виртуального вре­
мени ожидания ц (t)
] «-•- М{е^ (0о\Х Щ = /} dt ---- ^ <«>~ ^
\
, + ^ - J <'»---- !
о
В работе Нёйтса [201] с ПОМОЩЬЮ рассмотренного вло­
женного полумарковского процесса исследуются приоритет­
ные системы M|G|1, в предположении, что требования к мо­
менту t упорядочены в очереди согласно длительности их вре­
мен обслуживания (в порядке убывания или в порядке воз­
растания).
Обозначим через r\(t, х) и v\(t, х) виртуальное время ожи­
дания требования с временем обслуживания х(х > 0), в слу­
чае, когда требования обслуживаются в порядке возрастания
времени обслуживания, соответственно в порядке убывания
времени обслуживания.
Показано, что
со
МХМ- (оо, x) =
2(1Д,61)
[l + 2A| j VLH (a) dH (и)1,
где
8 — Г хЧН (х),
МХМЪ_ (оо, x) -
2 ( 1
р — Г xdH (x)
^ W ) [l + 2X5 - 2А Г иН (и) dH (и)
о
В работе Нёйтса [202] обобщается модель системы с ожида­
нием M|G|1 на случай, когда система может находиться в
т различных фазах. Распределение длительности обслужи­
вания Hi(x), i = '\, ..., m, и интенсивности входящего потока
%и i = 1, ..., т, зависит от номера фазы, а времена пребыва­
ния системы в i-й, 1—1, ..., т, фазе являются независимы­
ми показательно-распределенными случайными величинами
с интенсивиостями ai, i — 1
т.
ЕСЛИ /,, —фаза, в которой находится система в момент /,
а N(tlt t2) — число поступлений требований за (t1, t 2 ), тогда
P.lJ\ntt)
76
= P{It = j t Nt = n\Iu = i}, Nt = N(0,
t\,
удовлетворяют уравнению марковского восстановления:
п
t
fe- (X ' + "') - ^ - / - w ( ^ - i : , n~l)d,.
S ЪРи£
A=l
(6.11)
/-=0 0
Показано, что длины очереди в моменты ухода требований
связаны соотношением
•v«+i-=(vi-'—-+*«)+.
где пп — число требований, поступивших в систему за время
"•обслуживания п-го требования. Если Jn — фаза в момент ухо­
да хп п-то требования, то {/n, vn, t«} образует процесс мар­
ковского восстановления, порожденный полумарковской мат­
рицей:
Л"
Q(i, к,/, k', x)= f Pu(k, — ki-\,u)dHt(u),
о
Q(i, k,J, k', x ) - - 0 , A ' < £ — l ,
m
k'-^k
—1>0,
(6.12)
л"
•Q(i,'0,j, A'•«)--=-J] ХйГ.Р-й(0,а)0(Л, l./.A'.Jc —«)da, A = 0.
ft=l
0
'
•
.
В работе найдены необходимые и достаточные условия
существования стационарности системы:
Р*<1,
(6.13)
где
ГО
*
ОО
1=1
'
0
•Ё Л/Ло.
./=1
a it. удовлетворяют системе алгебраических уравнений:
л»
«•
m
£ « / f P u ( - . «)dH. («)—-j.
2^-=1--
i=i
i=i
о
С ПОМОЩЬЮ построенного вложенного процесса марковского
восстановления определены различные характеристики си­
стемы.
Многие системы массового обслуживания могут быть опи­
саны случайными процессами, поведение которых во времени
определяется цепью Маркова и полумарковским процессом.
Такие процессы рассматривались в работах И. А. Ежова
[47, 48]. В [47] показано, что для однолинейной системы
77
с ожиданием типа M\G\ 1 определение характеристик периода
занятости системы, максимальной длины очереди сводится
к определению времени пребывания цепи Маркова с полумарковским вместительством случая в определенном подмно­
жестве состояний.
В статье И. А. Ежова й В. С. Королюка [55] аналогичные
характеристики определяются с помощью цепи Маркова
с полумарковским вмешательством случая для систем типа
M|G|1, G/]M|l, когда требования поступают группами по уп,
где vn — случайная величина с распределением rm=P{vn = tn).
В частности, получено для системы М \ G \ 1 функциональное
уравнение для производящей функции cp(s) = Me~-V(J> перио­
да занятости
оо
где R (г) •— ]У] zmrm,
обобщающее известный результат Та-
кача.
Ряд характеристик систем массового обслуживания выра­
жается через характеристики времен пребывания полумарковского процесса в фиксированном множестве состояний. Так
для систем массового обслуживания, которые могут быть
описаны полумарковским процессом, и вероятности перехода
которого удовлетворяют условиям
Qu(x)>o, j < i + 1/
Qu(x) = 0, У > * + 1 ,
в работе С. М. Броди [21] получены следующие рекуррент­
ные формулы
Ъ-*{3)
ЩЦг«- — - у
1
*> 2 ' (6-14)
- £ Qft-i, i (*) П ? ( / +1) •» - -?*_,, *_1 (-)
1=1
'
]=1
и
ft-2 ft—2
где C^j — время пребывания полумарковского процесса в мно­
жестве состояний E A _! — {0, . . . , k — 1), началом в /-ом состоя­
нии Ек cz Е, где Е — множество состояний подумарковского
процесса. С помощью Т<Д1 (s) и т^]_г найдены некоторые
характеристики систем массового обслуживания с потерями
и с ограниченной длиной очереди.
78
Исследуется система с потерями G / | M | 1 , М|<3|1 с помо­
щью ПМП в [73].
Имеется ряд работ, у которых описываются системы мас­
сового обслуживания, когда входящий поток или время об­
служивания является полумарковским.
В работе Цинлара [137] изучена однолинейная система
с показательным распределением длительности обслуживания
и конечным числом типов требований. Типы требований, по­
следовательно поступающих в систему, образуют однородную'.
цепь Маркова. Интервал между последовательным поступле­
нием требований может зависеть от типов последних двух
.требований. Автор нашел аналитические .выражения для
основных характеристик процесса.
В работе С. Н. Симоновой [103] рассматривается многолинейная система с потерями и. входящим полумарковским
потоком, в предложении, что время обслуживания требования
t-ro типа имеет показательное распределение с параметром ц...
Функционирование такой системы описывается однородным'
марковским процессом {vi(t), ,-., Vft(t), y(t), v(t)}, где vi(t) —
число требований i-vo типа в момент t, y(t) — тип требования,,
поступающего последним к моменту t, v(t) —время, прошед­
шее с момента последнего поступления требования к момен­
ту t. Получены формулы для стационарного распределения
вероятностей.
Обобщается формула Эрланга в работе Франкена [155]'
на случай, когда входящий поток является полумарковским,.
т. е.. предполагается, что имеется k типов требований и зада­
на стохастическая матрица R •= {rij, i, j б к}, а также семей­
ство функций распределения Gii(x), i, j&k, с конечными сред­
ними. Пусть X(t) —число приборов, занятых обслуживанием''
в момент t. Показывается, что {In., vn} является однородной
цепью Маркова, где gn = х (хп — 0), а хп — момент поступле­
ния n-го требования, vn — тип поступившего требования в хпОпределяется стационарное распределение
/?-'•— lim Ц р Цп = I, v„ —• J).
я->.-°
.
Такая же система исследуется в работе Цинлара [137].
Пусть X(t) —-число требований в системе в момент t, aI (t) — тип обслуживаемого требования в момент t, и щ, и2,.,.
•-, Ti, ta, .... — моменты поступления и ухода требований изсистемы. Очевидно, что
tit)^}*"-»
^(o=—o, •-.,._!</<«„,
В работе изучаются свойства процесса {-.(t), X (t)}. При неко­
торых предположениях относительно матрицы Q (t) показано,
что lim P {•; (t) •— i, x (t) = j | £ (0)} существует и не зависит
79-
•от -5 (0) и х(0),
когда
UimMT„<L
.Показано, что
-°{^0 — Л — ИтР{?К + 0) — /Ь
§ 7. ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ
В ТЕОРИИ НАДЕЖНОСТИ
Полумарковские процессы находят большое применение
в теории надежности резервированных систем, систем с пере­
менным режимом работы, при анализе систем с большим
числом элементов.
В работе В. С- Королюка, A. А. Томусяка [67] использует­
ся конструктивное построение полумарковских процессов
(см. стр. 51) для описания функционирования различных ре­
зервированных систем. Рассматривается резервированная си­
стема, состоящая из п однотипных рабочих устройств, рабо-тающих независимо, т резервных устройств того же типа,
находящихся в холодном резерве и г восстанавливающих
устройств, работающих независимо. Предполагается, что вре­
мя работы и время восстановления каждого устройства рас­
пределены по показательному заказу с параметрами Л и р ,
соответственно. Система считается в рабочем состоянии, если
работает т устройств. Пусть ei — состояние системы, соот­
ветствующее тому, что г устройств занято. Лолумарковский
процесс, описывающий функционирование рассматриваемой
резервированной системы, задается функциями распределения:
&Li + i (Х)=
{
11 - е- О» + " - « К
i >уя;
So,i (x)•—1 — е-—-.
Для определения характеристик времени безотказной ра­
боты системы следует определить согласно формуле (см. стр/-51)
переходные вероятности pt,i±i, Q/, y-i(x) и затем решить
системы линейных алгебраических уравнений (5.1) (5.2) при
- 1 ~
ie0>
е
Ь
е
• • •>
т)-
При больших г и т решение систем уравнений представ­
ляет значительные трудности. В этом случае удобно пользо­
ваться, следующими рекуррентными формулами
те(-н-->-----•80
°
gOT
°
, pt,l+i = pltpht-.i
= qit
(7.1)
m°-=-0, ml0<=aQ, at—-среднее время пребывания ПМП в со­
стоянии et и •
T < m + 1 )fa)
T
°
=
^
T
(S)Qm,m+l(s*>
°
(7 2)
Некоторые случаи таких систем решаются с помощью полумарковского процесса в [22].
В [67] рассматривается резервированная система, когда
имеется одно восстанавливающее устройство, время работы
каждого имеет произвольную функцию распределения.
С помощью вложенного полумарковского процесса опре­
деляются характеристики времени безотказной работы дубли­
рованной системы с холодным резервированием в работе
В. С Королюка [64]. Выбираются в качестве точек регенера­
ции (переходов полумарковского процесса) моменты отказа
работающего устройства. Вероятности перехода для такой
системы определяются следующим'образом
Q01(x) — F(x),
X •
Qn{x)=
..'
С
H(u)dF(u),
(7.3)
о
X
Q12{x) = F (x) - f H И dF (к),
где F(x) —функция распределения безотказной работы рабо­
чего устройства, Н(х) — функция распределения времени восстановленият-Используя формулы для (5.1), (5.2), автор опре­
деляет математические ожидания и преобразования Лапла­
са — Стилтьеса времени безотказной работы, т. е. времени
пребывания полумарковского процесса в множестве состоя­
ний в подмножестве состояний {еь, в\) (ei — состояние систе­
мы, когда работает i устройств).
Цинларом [141] рассмотрена система, состоящая из конеч­
ного1 числа элементов т, время безотказной работы которых
имеет показательное распределение с интенсивностью кг, a
Нь.(х)—функция распределения времени восстановления,
если отказал ^-ый элемент системы. Пусть хп — моменты от­
каза системы и |п — тип отказавшего элемента в момент хп.
Если #/..(+ о о ) < 1, для некоторых k, то система описывается
неконсервативным процессом марковского восстановления
Цп, хп, I}, где / — число отказов за время работы системы
MXIM - z < oo с '
6
Заказ Ш 382
81
Qu (x) ='. f Hj {x — и) Хке~^ийи,
о
k-i
Уравнение марковского восстановления для такой системы
Pj{x{t)=k,
e(t).— 0} =
t
=- hi [^ (+ °°) -
Н
М + 2 J Qyv Cd«) Qvft (* - и ) , (7.5)
v О
где х (t) — тип последнего перед моментом t отказавшего
элемента, a s(t) = Q или 1 согласно тому, работает или не
работает система в момент t\<^z.
Если # f t (-f-oo) = 1 для всех k, то L •=-оо и г = оо с ве­
роятностью 1. Из (7.5) получено, согласно (3.3),
11га Pj{x(t):=k,
e(t)—^О}..
4bk
й=1
00
где 6ft— I [1—# ft (.a)]d«
Hm
Я , {* (") = -} =
/->DQ
J?-
1 + S W*
При решении задач теории надежности, работающих с пере­
менным режимом работы, используются вложенные полумарковсжие процессы для цепи Маркова, управляемой .полумарковским процессом в работах С. М. Броди, В. Д. Шпака [24]...
С. M. Броди, О. Н. Власенкр [22], С. М. Броди, О. Н. Власенко, Б. Г. Марченко [23]. В [24] показано, что такие вложен­
ные полумарковские процессы задаются вероятностями пере­
хода
•PiW=[^{u)dQkl{u\
'
(7.6)
о
где *$$> (0 = P («* (0 = / ; / * » (0)-=- / , ) . В случае, когда цепь
82
(
Маркова ?k(i) имеет поглощающее состояние / 0 6 E , то
pi
ii (•*) = f «$*} («) --Qui («).
о
ft Ф U
fj Ф / о
(7-7)
и
^$> (О = Р{.г*(0-==/;. -г*(«)=?-=/о. 0 < а < ^ / г » ( 0 ) . = / г } .
Получены системы линейных алгебраических уравнений
для преобразований Лапласа — Стилтьеса времен пребыва­
ния вложенного полумарковского процесса и средних времен
пребывания в заданном множестве состояний. В [22] рас­
сматривается система, которая может находиться в я режи­
мах. Предполагается, что система, находясь в k режиме рабо­
ты, может проработать безотказно случайное время щ, где
T]?i — показательно-распределенная случайная величина. Та­
кая система описывается вложенным полумарковским процес­
сом, с цепью Маркова Zft(t), k = 1, 2, с двумя состояниями
и поглощающим состоянием U ПРИ &= 1, 2, для которого ве­
роятности перехода (7.7) имеют вид:
X
P^{x)=^e~ltadQhl{u),
о .. .
l<k,/<n,
л.
Plf(x)
[(l-e-lndPll(u)-
=
о
В работе вычисляется математическое ожидание и преоб­
разования Лапласа — Стилтьеса для времени безотказной
работы в случае, когда QM(X) = nuHh(x), где Гы — элементы
стохастической матрицы, а Ни(х) — функции распределения
времени пребывания системы в k-ou режиме. В статье [22]
рассматривается частный случай системы с переменным ре-'
жимом, когда n = 2. Для такой же системы', когда в одном
из режимов состояние f0 не является поглощающим,' получены
некоторые характеристики надежности системы в работе
С. М. Броди, Б. Г. Марченко, О/Н. Вдасенко [24].
В работе Барлоу и Прошан [123] среднее число отказов
за (0, t) и некоторые стационарные характеристики надежно­
сти выражаются через средние времена возвращения \iij по­
лумарковского процесса из состояния i в состояние }.
В статье И. A. Ушакова [116] получена формула для ма­
тематического ожидания времени пребывания полумарковского процесса при <-+со в подмножестве СОСТОЯНИЙ £1 czE,
при условии, что в момент t процесс находится в этом под­
множестве состояний.
6*
83
§ 8 . УПРАВЛЯЕМЫЕ ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ
Важным частным случаем динамического программиро­
вания ЯВЛЯЮТСЯ марковские управляемые процессы. Естествен­
ные обобщения результатов и алгоритмов решения для
управляемой марковской цепи на управляемые полумарковские процессы содержатся в работах Ховарда [167] иДжевелла [180, 181]. Это обобщение состоит1 в том, что время, про­
веденное системой между переходами, является случайной
величиной с произвольным законом распределения, следова­
тельно, может быть охвачен широкий круг задач без суще­
ственного усложнения вычисления оптимальных стратегий.
Предполагается, что если полумарковский процесс находится
в состоянии i и -переходит на следующем шаге в со­
стояние /, то доход, получаемый от этого перехода, равен
Dij (/), который зависит от i, j , £ij -и от времени t с момента
начала перехода (0{le}t{le}I;ij).В работе Джевелла [180] под­
робно анализируется частный случай линейного поведения
дохода, когда
— средний одношаговый переоцененный доход .тфи выходе из
состояния et равен:
В дальнейшем решается основная задача, состоящая в вы­
боре для. всех состояний ei управлений di, которые максими­
зируют полный ожидаемый доход за время эксперимента,
т. е. определениеЪптималы-юй стратегии. Показано, что в слу­
чае, когда ПМП имеет единственную вложенную цепь Марко­
ва, которая является-эргодическои, и все aii конечны, то для
ожидаемого дохода, полученного от процесса, эволюциони­
рующего в течение промежутка времени t, при условии, что
он начался в состоянии ei и использовалась оптимальная
стратегия, имеет место следующая предельная формула
(8.1)
где
jPi-/
w i^s^VUj
rw
некоторая константа.
84
wi
Cj
u, (1 >
Приведен иллюстрирующий пример из теории надежности.
В работе Росса [219] рассматриваются управляемые полумарковские, определенные вероятностями переходов Р(- \х,а)
и функциями распределения F(-\x,a,y)
длительности пребы­
вания процесса в состоянии х&Х до перехода в состояние у
при управлении a 6 A . Если выбрано управление а, то доход,
накопленный за время t{le}вЖ) где ©-, — время пребывания
в х, равен C(t|.!C,a).
Предполагается, что существуют такие б > 0, s > 0, что
f F (81 x, a, у) d P (v | x, а) < 1 - Е.
(8.2)
уех
Решается задача о выборе такой стратегии, которая мини­
мизирует математическое ожидание дохода в единицу,
времени.
В статье Л. Г. Губенко, Э. С. Штатланда [40] определяют­
ся условия существования оптимальных стратегий, принадле­
жащих определенному классу. В качестве стратегии R выби­
рается марковская стационарная, для которой управляемый
процесс является полумарковским.
Управляющие полумарковские процессы используются при
решении задач оптимизации, систем массового обслужива­
ния, оптимального выбора режимов и синтеза, сложных тех­
нических устройств в работах [44, 106—108]. В работах
И. Б. Герцбаха [35, 36] приводятся задачи, связанные с вы­
бором оптимальных способов восстановления систем, которые
могут быть описаны с помощью полумарковских процессов.
Показано, что задача выбора режимов и профилактики, спо­
соба'резервирования многих систем сводится к минимизации
средних потерь, вычисленных при достаточно больших t.
И. Б. Герцбах в [37] решает задачу выбора оптимальной
стратегии профилактики систем, используя метод нахождения
оптимального управления полумарковского процесса.
В работе М. Г. Теплицкого [109] применяется алгоритм
для определения оптимальной стратегии управляемого полумарковского процесса к задачам теории массового обслужи­
вания, чтобы выбрать режим обслуживающих устройств с
максимальной производительностью.
БИБЛИОГРАФИЯ
1. АниСимов (Ан1с1мов) В. В., Многомерные предельные теоремы для
полумарковских процессов со счетным множеством состояний. Теория
вероятностей и мат. стат. Ме.жвед. науч. сб., 1970, вып. 3, 3—15
(РЖМат, 1971, 8В61)
'
2. — , Предельные теоремы для полумарковских процессов. I, II. Тео­
рия вероятностей, и мат. стат. Межвед. науч. сб., 1970, вып. 2, 3—21
(РЖ.Мат, 1971, ЗВ22; ЗВ23)
85
3. — , Предельные теоремы для полумарковских процессов со счетным
. множеством состояний. Докл. АН СССР, 1970, 193, № 3, 603—505
(РЖМат, 1970, 12В31)
4. — , Предельные распределения функционалов от полумарковского
процесса, заданных на фиксированном множестве состояний до мо­
мента первого выхода. Докл. АН СССР, 1970, 193, № 4, 743—745
(РЖМат, 1971, ЗВ24)
б. — , Предельные теоремы для сумм случайных величин, заданных на
подмножестве состояний цепи Маркова до момента выхода, в схеме
серий- Теория вероятностей и мат- стат. Межвед- науч. сб., 1971,
вып. 4, 18—26 (РЖМат, 1971, 12В112)
6. — , Предельные теоремы для сумм случайных величин на цепи Мар­
кова, связанные с выходом из множества, образующего в пределе
один класс. Теория вероятностей и мат. стат. Межвед. науч. сб., 1971,
вып. 4,.3—17 (РЖМат, 1971, 12В111)
;
7- — , Деяы теореми про rpamroi разподши сум випадкових величин,
ав'язаних в однорщний лаицюг Маркова. Доповда АН УРСР, 1970, А,
№ 2, 99-103 ('РЖМат, 1970, 9В26)
8. — , Многомерные предельные теоремы для цепей Маркова с конеч­
ным числом состояний. Докл. АН СССР, 1972, 204, № 3, 519—521
(РЖМат, 1972, 9В41)
9. — , Некоторые предельные теоремы для полумарковских процессов
со счетным множеством состояний в схеме серий. Теория вероятно­
стей и мат. стат. Межвед. науч. сб., 1972, вып. 6, 3—13 (РЖМат,
1972, 9В40)
10. — ,0 предельном поведении полумарковского процесса с расщепляю­
щимся множеством состояний. Докл. АН СССР, 1972, 206, № 4,
777—779 (РЖМат, 1973, 2В62)
11. Арсенишвили (Арсен1шв1л1) Г. Л., Деяю питания теорп складних
нашвмарковсышх npoueciB, Тезисы докладов V Научной конференции
молодых математиков Украины. Киев, 1970
12. — , Некоторые вопросы из теории полу марковских процессов r-го по­
рядка. В сб. Вопросы разработки и внедрения средств вычисл. техн.
Тбилиси, 1970, 128—132 (РЖМат, 1971, 5В50)
13. — , Некоторые вопросы теории полумарковских процессов r-го по­
рядка- Докл. III конф- молодых науч. работников и аспирантов,
ТНИИСА, 1970
14. — , Об одном классе функционалов для сложных полумарковских
процессов с 'дискретдым вмешательством случая. Сакартвелос ССР
, Мецниеребата Академике моамбе, Сообщ. АН ГрузССР, 1970, 58,
№ 1, 25-28 (РЖМат, 1970, 11В45)
15. — , Е ж о в И. И., Об одной предельной теореме для полумарковских
процессов r-го порядка. Сакартвелос ССР Мецниеребата Академиис
моамбе, Сообщ. АН ГрузССР, 1969, 53, № 1, 25~-28 (РЖМат, 1969,
10В30)
16. — , — , 0 6 одном обобщении цепей Маркова с полумарковским
вмешательством случая. Сакартвелос ССР Мецниеребата Академиис
моамбе, Сообщ. АН ГрузССР, 1969, S4, № 2, 285—288 (РЖМат, 1970,
1В73)
17. — , — , 0 распределении времени пребывания в заданной области
полумарковским процессом r-го порядка. Тбилисис университета гамокхенибити математикис института. Шромеби, Тр. Ин-т прикл. мат.
Тбилис-ун-та, 1969, № 2, 151--157 (РЖМат, 1970, 8В56)
18. Баклан В. В., Эргодическая теорема для марковских процессов с ди­
скретным вмешательством случая. Укр. мат. ж., 1967, 19, № 5, 123—
126 (РЖМат, 1968, 7В36)
19. Беляев Ю. К., Линейчатые марковские процессы и их приложение
к задачам теории надежности. Тр. VI Всес. совещания по теории
86
вероятностей и мат. стат. Вильнюс, I960. Гос. изд-во полит, и науч.
лит, ЛитССР, 1962, 309—323 (РЖМат, 1964, 5В146)
20. Броди С. М:, Об одной предельной теореме теории массового обслу­
живания. Укр, мат. ж., ,1963, 1Б, № 1, 76—79 (РЖМат, 196-4, 6В428)
21. ~-', Исследование систем массового обслуживания с помощью полу­
марковских процессов- Кибернетика, 1965, № 6, 55—58 (РЖМат, 1966,
9В233)
22. •—, В л а с е н к о О. Н., Надежность систем со многими режимами
работы- В сб. Теория надежности и массовое обслуж. М„ Наука, 1969,
165-171 (РЖМат, 1970, 5В231)
23. — , — . М а р ч е н к о Б. Г., Расчет и планирование испытаний си-'
стем на надежность. Киев, Наук, думка, 1970, 192 стр. (РЖМат, 1970,
9В247К)
24. —< , Ш п а к В. Д., Применение ассоциированных полумарковских про­
цессов в анализе надежности систем. I. Кибернетика, 1970, № 5, 90—
96 (РЖМат, 1971, 9В318)
25. Валах В. Я., Королюк В. С, Стохастические автоматы со случайным
временем реакции и их функционирование в случайных средах. В сб.
Автоматы, гибридн. и управляющ. машины. М., Наука, 1972, 38—45
(РЖМат, 1972, 7В371)
,26- Виноградов О. П., Задача о распределении максимума длины очере­
ди и ее применение. Теория вероятностей и ее применения, 1968, 13,
№ 2, 366—375 (РЖМат, 1969, 2В63)
27- — , Предельные распределения для момента первой потери требова­
ния в однолинейной системе массового обслуживания с ограничен­
ным числом мест для ожидания. Мат- заметки, 1968, 3, № 5, 541—
546 (РЖМат, 1968, 10В78)
28. — , Распределение максимума длины очереди в однолинейной систе­
ме массового обслуживания. Айкакан ССР Гитутюниери Академией
тегекагир. Математика, Изв. АН АрмССР, 1968, 3, № 3, 257—.262
(РЖМат, 1969, 2В64) • ,
.
/29. Висков О. В,, О системе массового обслуживания с марковской за­
висимостью между поступлениями требований. Trans 4th Prague Conf.
Inform- Theory, Statist. Decis. Funct. Random Process, 1965, Prague,
1967, 627—634 (РЖМат, 1969, 2B57)
30. — , Две асимптотические формулы теории массового обслуживания.
Теория вероятностей и ее применения, 1964, 9, № 1, 177—178
(РЖМат, 1964, 8В69)
31..— , О времени ожидания в смешанной системе массового обслужи­
вания. Тр. Матем- ин-та- АН СССР, 1964, 71, 26—34 (РЖМат, 1965,
4В25)
•32. — , И см а и л о в А. .И-, Система массового обслуживания с ограни­
ченной очередью. Науч. тр. Ташкент, ун-т, 1972, вып. 402, 17—29
(РЖМат, 1972, 7В77)
33. Гергей Т., Е ж о в И. И. (Сжов I. I.), Ц у к а н о в И. Н. (Цука­
нов' I. M.), Цепи Маркова, управляемые сложным ..процессом восста­
новления. В сб. Теория оптимальн. решений. Тр. Семинара. Вып. I.
Киев, 1969, 93—109 (РЖМат, 1970, 7В51)
34. — , — , — , Про стащонарний розподш статв одше! системи масового обслуговуваиня. Доповии АН УРСР, 1971, А, № 10, 876—878,
955 (РЖМат, 1972, 1В121)
35. Герцбах И. В., Формулировка некоторых оптимальных задач теории
надежности. LatvPSR Zinattiu Akad, vestis, Изв. АН ЛатвССР, 1963,
№ 8, 25—31 (РЖМат, 1964, 9В79)
36. —'••, Модели профилактики. (Теоретические основы планирования про­
филактических работ). М., Сов. радио, 1969, 214 стр. (РЖМат, 1969,
8В133К) •
37. — , Оптимальное управление полумарковским процессом при нали87
чии ограничений на вероятности состояний. Кибернетика, 1970, № 5.
56-61 (РЖМат, 1971, 6В87)
38.' Гнеденко Б; В.,: О ненагружеш-юм дублировании. Изв.' АН СССР.
Техн. кибернетика, 1964, № 4, 3-12 (РЖМат, 1965, 2В291)
39. — , К о в а л е н к о И. Н., Введение в теорию массового обслужива­
ния. М., Наука, 1966, 431 стр. (РЖМат, 1968, 12В83К)
40. Губенко Л. Г., Ш т а т л а н д Э. С, Об управляемых полумарковских
процессах; Кибернетика, 1972, № 2, 26—29 (РЖМат, 1972, .9В56) ,
41. Гусак Д. В., К о р о л ю к В. С, Асимптотическое поведение полумар­
ковских процессов с расщепляемым множеством состояний. Теория
вероятностей и мат. стат. Межвед. науч. сб., 1971, вып. б, 43—50
(РЖМат, 1971, 11В90)
42. Дикар.ев В. Е., Исследование надежности восстанавливаемых -.систем
методом марковских процессов с дискретным вмешательством случая.
В сб. Сложи, системы и моделир. Тр. Семинара. Вып. 2. Киев, 1969,
22-32 (РЖМат, 1970, 9В239)
43. — , Обслуживание комплекса сложных систем. В сб. Теор. киберне­
тика. Вып. 3. Киев, 1970, 80—97 (РЖМат, 1971, 6В684)
44. -— , Стратегии профилактического обслуживания системы при .непол­
ной проверке ее работоспособности. В сб. Мат. методы исслед. и
оптимиз. систем. Вып. 4. Киев, 1970, 25—36 (РЖМат, 1971, 6В550)
45. Добрыдень В. А., Оптимальное наблюдение полумарковского процес­
са. Изв. АН СССР. Техн. кибернетика, 1971, № 4, 47—49 (РЖМат,
1972, 2В265)
46. Ежов И. И., О времени достижения заданной области в случае цепи
Маркова с дискретным вмешательством случая. ДоповЩ! АН УРСР,
1966, № 7, 851—854 (РЖМат, 1966,. 12В42)
'
47. — , Цепи Маркова с дискретным вмешательством случая, образую­
щим полумарковский процесс. Укр. мат. ж., 1966, 18, № 1, 48—65
(РЖМат, 1966, 9В40)
48. — , Эргодическая теорема для марковских процессов, описывающих
общие системы массового обслуживания. Кибернетика, 1966, № 5,
.79-81 (РЖМат, 1967, 5В48)
49. — , Эргодические теоремы для марковских процессов с дискретным
вмешательством случая. Допов1д1 АН УРСР, 1966, № 5, .579-—582
(РЖМат, 1966, 10В35)
50. — , Об одном обобщении процессов восстановления. В.сник Кшв.
ун-ту. Сер. мат. та мех., 1968, № 10, 55—59 (РЖМат, 1969, 6В60)
51. — , О распределении минимума полумарковского процесса, описыва4 ющего однолинейную систему, обслуживания с ожиданием. В сб. На­
дежность и эффективн. дискрета, систем. Рига, Зинатне, 1968, -27—45
(РЖМат, 1969, ЗВ43)
52. — , Эргодическая теорема для вероятностных процессов с полумар­
ковским вмешательством • случая. Укр. мат. ж., 1968, 20, № 3, 384—
388 (РЖМат, 1969, 11В48).
53. — , О распределении величины перескока заданного уровня .после­
довательностью максимумов случайных величин, управляемых цепью
Маркова. Укр. мат. ж., 1969, :21,ОД6, 831—836 (РЖМат, 1970, .7В53>
54. — , Г е р г е й Т., Ц у к а н о в И. Н„ Время пребывания цепи Мар­
кова, управляемой сложным процессом восстановления, в заданной
области. В сб. Теория оптимальи. решений. Тр. Семинара. Вып. 2.
Киев, 1969, 99—108 (РЖМат, 1970, 7В52)
55. — , К о р о л ю к В. С, Полумарковские процессы и их приложения.
Кибернетика, 1967, № 5, 58—65 (РЖМат, 1968, 11В50)
56. — , П р и з в а Г. И„ Об одном обобщении цепей Маркова с непре­
рывным временем. В1сник Кшв. ун-ту. Сер. мат. та мех., 1966, № 5,
145-152 (РЖМат, 1968, 4В48)
57. — , — , Некоторые предельные теоремы для функционалов от сумм
случайных величин, управляемых цепью Маркова. Кибернетика, 1969,'
№ 3, 63—67
88
58. •--- ,• С к о р о х о д А. В., Марковские процессы, однородные по второйкомпоненте. I. Теория вероятностей и ее применения; 1969, 14, N° L
3—14 (РЖМат, 1969. I1B42)
59. —- , — , Марковские процессы, однородные по второй компоненте.
II. Теория вероятностей и ее применения, 1969, 14, № 4, 679—-692
(РЖМат, 1970, 7В48)
60. Закусило О. К., Редеющие полумарковские процессы. Теория вероят­
ностей и мат. стат. Межвед. науч. сб., 1972, вып. 6, 54—59 (РЖМат,
1972, 8В66)
.
.
61. Зубова А. Ф., О холодном резервировании с. восстановлением. Авто­
матика и телемеханика, 1965. 26, N° 10, 1800—1808 (РЖМат, 1966,
5В155)
•
.,
62. Ковалева Л. М., О времени пребывания двух независимых полумар­
ковских процессов в заданном состоянии. Укр. мат.' ж., 1968, 20, № 6,.
837—841 (РЖМат, 1969, 4В58)
63. — , О времени пребывания в заданном состоянии простейшей полу- •
марковской системы. Теория вероятностей и мат. стат. Межвед. науч.
сб., 1970, вып. 1, 100—108 (РЖМат, 1970, 6В64)
64. Королюк В. С, Время пребывания полу марковского процесса в' фик­
сированном множестве состояний. Укр. мат. ж., 1965, 17, № 3, 123—
• 128 (РЖМат, 1965, 10В32)
65. --г, Об асимптотическом поведении времени пребывания полумарков-• '
ского процесса в подмножестве состояний. Укр. мат. ж., 1969, 21,
№ 6, 842—845 (РЖМат, 1970, 7В50)
66. — , П о л и щ у к Л. И., Т о м у с я к А. А., Об одной предельной тео­
реме для полумарковских процессов. Кибернетика, 1969, № 4, 144-—
145 (РЖМат, 1970, 2В59)
67. — , Т о м у с я к А. А., Описание функционирования резервированных
систем посредством полумарковских процессов. Кибернетика, 1965,.
№ 5, 55—59 (РЖМат, 1967, 9В140)
68. — , — , 0 некоторых стационарных характеристиках полумарков­
ских процессов. Кибернетика, 1971,. № .5, 65—68 (РЖМат, 1972, 2В64)
69.'— , Т у р б и н А. Ф., Об асимптотическом поведении времени пребы-,
вания полумарковского процесса в приводимом подмножестве состоя­
ний. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 2,
133—143 (РЖМат, 1971, ЗВ37)
70. — , •—," Об одном методе доказательства предельных теорем для
некоторых функционалов от полумарковских процессов. Укр. мат. ж.,.
,1972, 24, .№ 2, 234—-240 (РЖМат, 1972, 8В27)
71. Креденцер Б. П., Об оптимальной загрузке двухприоритетиои системы
обслуживания © ожиданием. Автоматикаl и телемеханика, 1970, № 9,145—150 (РЖМат, 1971, ЗВ47)
v
72. — , Оценка надежности систем с аппаратурной и временной избыточ­
ностями и мгновенным обнаружением отказов. Изв. АН СССР. Техн.
-. кибернетика, 1971, № 4, 58—69 (РЖМат, 1972, 2В266)
73. Кухта Т. К., Определение вероятности потери с помощью подумарковских процессов. В сб. Сложи, системы и моделир. Тр. Семинара'..
Вып. I. Киев, 1968, 67—73 (РЖМат, 1969, 9В49)
74. Лев Г, Ш., О сходимости полумарковских процессов умножения со.
сносом к диффузионному процессу. Теория вероятностей и ее приме­
нения, 1972, 17, № 3, 583—588 (РЖМат, .1972, 11В63)
75. — , Полумарковские процессы умножения со сносом. Теория вероят­
ностей и ее применения, 1972,, 17, Ш 1, 160-166 (РЖМат, 1972, 7В68)
76. Матвиишин Я. А., С у ч к о в Л. Н„ Об одной задаче оптимального.
управления полумарковским объектом. В сб. Сложи, системы и моде­
лир. Тр. Семинара. Вып. 2. Киев, 1969, 4 2 - 4 9 (РЖМат, 1970, 8В80)
77. Морозов В. Г., О топологических методах исследования конечных
полумарковских автоматов. В сб. Автоматы, гибридн. и управляют..
машины. М„ Наука, 1972, 50-59 (РЖМат, 1972, 7В370)
78. Пбпов П. И., Ч е р е н к о в А, П., Асимптотический метод расчета на89'
дежности марковских систем- В сб. Теория надежности и массовое
обслуж., М., Наука, 1969, 178—183 (РЖМат, 1970, 7В222)
'79. Пресман Э. Л., Время пребывания одной системы в неисправном со­
стоянии. Тр. Матем. ин-та. АН СССР, 1964, 71, 78—81 (РЖМат, 1965,
.
4В27)
.SO. Призва (Пр.зва Г. Й.) Г. И., О распределении некоторых функциона­
лов от сумм случайных величин, управляемых цепью Маркова. Тезисы
Всесоюзного межвузовского симпозиума по прикладной математике
н кибернетике. Горький, 1967
~81. —•, Про одну граничну теорему для нашвмарковських процес.в. Доповда АН УРСР, 1967, А, № 9, 820—824 (РЖМат, 1969, ЗВ38)
-82. — , Об одном обобщении функций восстановления. Тр. IV Республи­
канской конференции молодых математиков Украины. Киев, 1968
.83. .— , Эргодична теорема для одного -класу марковських процеав. Доповда АН УРСР, 1968, А, № 8, 720—723 (РЖМат, 1969, 7В35)
.4.4. — , С и м о н о в а С. Н., О распределении величины первого переско­
ка. Укр. мат. ж., 1967, 19, № 3, 117—121 (РЖМат, 1968, 11В51)
. 85. Рыков В. В., Я с т р е б е н е ц к и й М. А., Регенерирующие процессы
• с несколькими типами точек регенерации. В сб. Большие . системы.
Массовое обслуж. Надежность. М., Наука, 1970, 203—208 (РЖМат,
1971, 4В82)
. . , ' / . •'•86. — , — , О регенерирующих процессах с несколькими типами точек
регенерации. Кибернетика, 1971, 3, 82—86 (РЖМат, 1972, 1В106)
.87. Сапаговас И,, О сходимости сумм марковских процессов восстанов­
ления к процессу Пуассона. Liet. mat. rinkinys, Лит. мат. сб., 1966,
-• . 6, № 2, 271—277 (РЖМат, 1967, 6В25)
88. — , О сходимости сумм марковских процессов восстановления к мно­
гомерному процессу Пуассона. Liet. mat. rinkinys, Лит. мат. сб., 1969,
9, № 4, 817—826 (РЖМат, 1970, 8В90)
."89. Сильвестров (С1львестров) Д. С, Асимптотическое поведение времени
достижения для сумм случайных величин, управляемых регулярным
полумарковским процессом. Докл. АН СССР, 1969, 189, № 5, 949—
951 (РЖМат, .1970, 4В24)
"90. — , Граничш розподши для випадкового блукання на прям1й, зв'язаного в ланцгог Маркова. 'Доповщ; АН УРСР, 1970, А, № 4, 326—329
, (РЖМат, 1970, 12В30)
v
91. — , Предельные теоремы для дискретного случайного блуждания на
•полупрямой, управляемого цепью Маркова. I. Теория вероятностей и
мат. стат. Межвед. науч. сб., 1970, вып. 1, 193—204 (РЖМат, 1970,
9В56)
"92..— , Предельные теоремы для дискретного случайного блуждания на
полупрямой, управляемого цепью Маркова. II. Теория вероятностей
и мат. стат. Межвед. науч. сб., 1970, вып. 2, 158—166 (РЖМат, 1971,
ЗВ25)
•
.93. — , Предельные теоремы для непрерывного блуждания на полупря­
мой, управляемого марковским процессом с двумя состояниями, в схе­
ме серий. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970,
вып. 1, 205—215 (РЖМат, 1970, 9В57)
'94. — , Предельные теоремы для непрерывного блуждания на полупря­
мой, управляемого марковским процессом с двумя состояниями, в схе­
ме серий. II. Теория вероятностей и мат. стат. Межвед. науч. сб.,
1970, вып. 2, 167—171 (РЖМат, 1971, ЗВ26)
95. — , Предельные теоремы для цолумарковских процессов и их при­
менения. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970,
вып. 3, 155—172 (РЖМат, 1971, 8В59)
96. — , Предельные теоремы для полумарковских процессов и их при­
менения. II. Теория вероятностей и мат. стат. Межвед. науч. сб.,
1970, вып. 3, 173—194 (РЖМат, 1971, 8В60)
97. —г , Предельные теоремы для функционалов от процессов ступенча­
тых сумм случайных величин, определенных на полумарковском проS0 .
'-.
цессе с конечным множеством состояний. Докл. АН СССР, 1970, 195,
№ 5, 1036—1038 (РЖМат, 1971, 7В60)
•98. — , Граничш теореми для натвмарковських процеав. Доповцц АН
УРСР, 1971, А, № 11, 987—989 (РЖМат, 1972, 2В28)
99. — , Полу марковские процессы с дискретным множеством состояний.
Изд-во Киев, ун-та. Киев,, 1971.
400. — , Првделмше "т-те-гаян для полумарковских схем суммирования.
I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1971, вып. 4,
153—170 (РЖМат, 1971, 12ВБ5)
101/ — , О сходимости слабозависимых процессов в равномерной топо­
логии. I. Теория вероятностей и мат. стат. -Межвед. науч. сб., 1972,
вып. 6, 109—117 (РЖМат, 1972, 9В23)
102.— , О сходимости слабозависимых процессов в равномерной тополо­
гии. II. Теория вероятностей и мат. стат. Межвед. науч. сб., 1972,
вып. 7, 132—145 (РЖМат, 1973, 1В56)
103. Симонова С. Н., О многолинейной системе с потерями с входящим
полумарковским потоком требований. Кибернетика, 1967, № 6, 48—53
(РЖМат, 1968, 6В59)
104- Соловьев А. Д., Асимптотическое распределение времени жизни дуб­
лированного элемента. Изв. АН СССР. Техн. кибернетика, 1964, № 5,
' 119—121 (РЖМат,' 1965, 6В114) 105- — , Резервирование с быстрым восстановлением-Изв. АН СССР. Техн.
.кибернетика, 1970, № 1, 56—71 (РЖМат, 1970, 7В234)
106. Сучков Л. Н., Оптимизация характеристик надежности сложных си­
стем с помощью управляемых полумарковских процессов. В сб. Ма­
териалы IV. Респ. научн. конференции молодых исследователей по
системотехнике, 1969. Т. 2. Киев, 1969, 89—92 (РЖМат, 1970, 4В236)
107. — , Оптимизация времени пребывания полумарковского процесса в
фиксированном множестве состояний. В сб. Сложи, системы и мо: делир. Тр. Семинара. Вып. 1. Киев, 1969, 67—73 (РЖМат, 1970,
10В74)
108. — .Оптимизация показателей надежности сложных систем, функ>
ционирование которых представимо посредством полумарковских про­
цессов. В сб. Сложи, системы и моделир. Тр. Семинара. Вып. 2. Киев,
1969, 33—41 (РЖМат, 1970, 9В235)
109. Теплицкий М. Г., Отыскание оптимальной дисциплины обслуживания
для одной системы массового обслуживания с управляемым режимом
работы приборов. Автоматика и вычисл. техн., 1968, № 6, S1—-66
(РЖМат, 1969, 8В31)
,.
110. Томусяк А. А., Про достатт умови i crioci6 знаходжёння эргодичного
розпод.лу натвмарковського процесу. Звт-ю-наукова конференция
кафедр КиТвського педшституту. Тези допов1дей. Кшв, 1966
111. — , Час перебування нашвмарковського процесу на зчислешй мно­
жим! стан.в, Звт-ю-наукова коиференщя кафедр Кшвського педшституту. Тези доповщей. Киш,- 1967
112. — , Вычисление эргодического распределения марковских и полумар­
ковских процессов. Кибернетика, 1969, № 1, 68—71 (РЖМат, 1970,
2В60)
113. — , Про одну задачу проектування резервованих систем з в.дновленням. В.сиик Ки1в. ун-ту. Сер. , мат. та мех., 1970, № 12, 96—99
(РЖМат, 1971, 5В296)
,
114. Турбин А. Ф., Применение теории возмущения-линейных операторов
к решению некоторых задач, связанных с цепями Маркова и полумарковскими процессами. Теория вероятностей и мат. стат. Межвед.
науч. сб., 1972, вып. 6, 118—128 (РЖМат, 1972, 8В65)
115. — , Об асимптотическом поведении времени пребывания полумар­
ковского процесса в приводимом подмножестве состояний. Линейный
случай. Теория вероятностей и мат. стат. Межвед. иауч. сб., 1971,
вып. 4, 179—194 (РЖМат, 1971, 11В89)
116. Ушаков И. А., О вычислении среднего стационарного времени пребы91
вания полумарковского процесса в подмножестве состояний- Изв. АН
СССР. Техн. кибернетика, 1969,,№ 4, 62---65 (РЖМат, 1970,4В$5\)
117. Франкен П., Уточнение предельной теоремы для -суперпозиции неза­
висимых процессов восстановления. Теория вероятностей и ее при­
менения, 1963, 8, № 3, 341—349 (РЖМат, 1964, 4В24)
118. Халиль 3. С, Об одной задаче резервирования с восстановлением.
Elektron. Informationsverarb. und Kybernet, 1968, 4, N° 5, 327—340'
(РЖМат, 1970, 2ВЗИ)
119. Ястребенецкий М. А,, Об одном классе регенерирующих случайных
процессов- Изв. АН СССР. Техн. кибернетика, 1969, № 5, 50—60
(РЖМат, 1970, 5В93)
120. — , О сходимости сумм марковских процессов восстановления к вет­
вящемуся процессу Пуассона- Кибернетика, 1972, № 1, 95—-98
(РЖМат, 1972, 6В66)
121. Anselone Р. М., Ergodic theory for discrete semi-Markov chains. Duke
Math. J., 1960, 2.7, № 1, 33—40 (РЖМат, 1961, 2B19)
122. Barlow R, E., Applications of semi-Markov processes to counter prob­
lems.-Stud. appl. prob. and manag. sci., Stanford, Calif., Univ. Press,
1962, 34—62 (РЖМат, 1966, 11B276)
123. — , P r o s c h a n F., Mathematical theory of. reliability. New York,
Wiley, 1965, XIII, 256 (РЖМат, 1967, 4B148I<.); русский перевод: Барлоу Р. Е., Прошаи Ф., Математическая теория надежности- М., Сов.
радио, 1969, 488.стр. (РЖМат, 1969, 9В157К.)
124. Berman S. M., Note on extreme values, competing risks and semi-Mar­
kov processes. Ann. Math. Stat., 1963, 34, № 3 , 1104—1106 ,(РЖМат„
1964, 7B163)
125. Bhat U. Narayan, Imbedded Markov chain .analysis of single server
bulk queues. J. Austral. Math. Soc, 1964, 4, № ' 2 , 244—263 (РЖМат,
1965, 2B452)
126. Cane V. JR., Behaviour sequences as semi-Markov chains- J- Roy. Sta­
tist. Soc, 1959, B21
•
127.1 Cheong С. К., Geometric convergence of semi-Markov transition proba­
bilities.. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1967, 7, № 2,
122—130 (РЖМат, 1968, 4B35)
128. — , Ergodic and ratio limit theorems for a-recurrent semi-Markov pro­
cesses. Z. Wahrscheinlichkeitstheor, und verw. Geb., 1968, 9, № 4, 270—
286 (РЖМат. 1970, 1B42)
129. — , Quasi-stationary distributions in semi-Markov processes. J. Appl.
Probab., 1970, № 2, 388—399 (РЖМат, 1971, 4B39)
130.— , Quasi-stationary distributions in semi-Markov processes. Correc­
tion. J. Appl. Probab., 1970, 7, № 3, 788 (РЖМат, 1971, 6B59)
131. —- , H e a t h c o t e С R., On the rate of convergence of waiting times.
. J . Austral. Math. Soc, 1965, 5, № 3, 365—373 (РЖМат, 1966, 5B34)
132. —• , D e S m i t J o s H. A.1, J a n s s e n J., L a m b о 11 e J.-P., T e ug e l s I. L., V a n d e w i e l e G., Definitions, classification and limit
theorems. Notes on semi-Markov theory. Part I. Core discussion .paper
№ 7118, 1971
133. — , — , T e u g e l s I. L., Notes on semi-Markov processes. Part II.
Bibliography. Core discussion paper №7121, 1971
134. -yinlar E., Decomposition of a semi-Markov process under a Markovian
rule. Austral. J. Stat., 1966, 8, № 3, 163—170 (РЖМат, 1967, 11B32)
135. — , Decomposition of a semi-Markov process under a state dependent
rule. SIAM J. Appl. Math., 1967,15, № 2, 252—263 (РЖМат, 1969,
2B48)
136. — , Time dependence of queues with semi-Markovian services. J. Appl.
Probab., 1967, 4, № 2, 366—364 (РЖМат, 1969, 2B67)
137. •-- , Queues with semi-Markovian arrivals. J. Appl. Probab., ,1967, 4,
№ 2, 365—379 (РЖМат, 1968, 4B57)
138. — ,.On the superposition of m-dimensionai point processes. J. Appl.
Probab., 1968, 5, № 1 , 169—176 (РЖМат, 1969, 1B78)
92
139. — , Some joint distributions for Markov-renewal processes'. Austral J.
Stat, 1968, 10, № 1, 8—20'(РЖМат, 1969, 11B82)
140. — , On semi-Markov processes on arbitrary spaces. Proc. Cambridge
Phil. Soc, 1969, 66, № 2, 381—392 (РЖМат, 1970, 5B57)
141. — , Markov renewal theory. Adv. Appl. Probab., 1969, 1, № 2, 123—187
(РЖМат, 1970, 11B82)
142. — , On dams with continuous semi-Markovian inputs. J. Math. Anal.
Appl., 1971, 35, № 2, 434—448 (РЖМат, 1972, 3B58)
•
• '
143. Denardo E. V., Markov renewal programs with 'small interest rates.
Ann. Math. Stat, 1972, 42, № 2, 477-496 (РЖМат, 1972, 1B332)
144. - , F o x B. Li Multichain Markov renewal programs. SIAM J. Appl.
Math., 1968, 16, 468—487
.145. Derman C, Remark concerning two-state semi-Markov processes. Ann.
Math. Stat., 1961, 32, № 2, 615—616 (РЖМат, 1962, 4B19)
146. Disney R. L, H a 11 W. K., Finite queues in parallel under a genera­
lised channel selection rule. J. Appl. Probab., 1971, 8, 413—416
147. — , VI a h T. L., The departure process from the OI/G,/I queue. J. Appl.
Probab., 1969, 6, 704—707
148. Fabens A. J., The solution of queueing and inventory models by semiMarkov' processes. J. Roy. Statist. Soc, 1961, B23, № 1, 113—127
(РЖМат, 1962, 2B429)
149. — > K a r l in S., Generalized renewal functions and stationary inven• tory models. J. Math. Anal. Appl., 1962, 5, 461—487 (РЖМат, 1965,
№310)
150. — , P e r e r a A. G. A. D., A correction to "The solution of queueing
and inventory models by semi-Markov processes". J. Roy. Statist. Soc,
1963, B25, № 2, 455—466 (РЖМат, 1965, 1B301)
151. Feller W., On semi-Markov processes. Proc. Nat. Acad. Sci. USA, 1964,
SI, № 4, 653-659 (РЖМат, 1966, 2B86)
152. Fox B. L., Markov renewal programming by linear fractional pro­
gramming. SIAM J. Appl. Math., 1966, 14, № 6, 1418-1432 (РЖМат,
1967, 9B79)
• ..'
153. — .Existence of stationary optimal policies for some Markov rene­
wal programs. SIAM Rev., 1967, 9, № 3, 573—576 (РЖМат, 1968, •
'
11B69)
154. — , (g, w)-optimal in Markov renewal programs. Manag. Sci., 1968,
15, № 3, 210-212 (РЖМат. 1969, 12B67)
155. Franken P., Eflangsche Formeln fur semimarkowschen Eingang. Elec­
tron. Informationsverarb. und Kybern., 1968, 4, № 3, 197—204 (РЖМат,
1969, 5B48)
•
156. Gaver D. P., Jr., Imbedded Markov chain analysis of a waiting-line
process in continuous time. Ann. Math. Stat., 1959, 30, № 3, 698—720
(РЖМат, 1961, 12B210)
157:—', An absorption probability problem. J. Math. Anal. Appl,, 1964, 9,
№ 3, 384—393 (РЖМат, 1965, 6B48)
158. Gergely Т., T s u k a n o w . I . N., Y e z h o w I. I„ Markov chains go­
verned by complicated renewal processes. Adv. Appl. Probab., 1970, 2,
№ 2, 287—322 (РЖМат, 1971, 5B51)
159. Gupta Y. P.,v Some results for zero order Markov renewal processes.
J. Indian Statist. Assoc, 1972, 10
160. Harris С. М., Queues with state-dependent stochastic service rates.
Operat. Res., 1967, 15, № 1, 117—130 (РЖМат, 1967, 9B313)
161. Hatori Hirohlsa, A limit' theorem on {J, X) -processes. Kodai Math.
;.' Sem. Rep., 1966, 18, № 4, 317—321 (РЖМат, 1967, 8B12)
162.—-, M o r i T o s h i o , An improvement of a limit theorem on (7,X)processes. Kodai Math. Sem. Rep., 1966, 18, № 4, 347—352' (РЖМат,.
1967, 8B13)
.
>\
.
163. — , — , A renewal type theorem on continuous time (J, .Х)-processes.
Kodai Math. Sem. Rep., 1967, 19, № 4, 404—409 (РЖМат, 1968, 10B42)
164. — , — , O o d a i r a H i r o s h i ; A renewal theorem on (/,JC)-pro-
93
cesses. Kodai Math. Sem. Rep., 1967, 19, № 2, 159—164 (РЖМат, 1968,
3B21)
165. — , — , — , A remark concerning a renewal theorem on (J,X) -pro­
cesses. Kodai Math. Sem. Rep., 1967, 19, № 2, 189—192 (РЖМат, 1968,.
3B22) ,
166. Hawkes A. G., Bunching in a semi-Markov process. J. Appl. Prpbab...
1970, 7, № 1, 175—182 (РЖМат, 1970, 10B57)
167. Howard R. A., Semi-Markov decision processes. Bull. Inst. Int. Statist.,.
1964, 4 0
•
i
168. — , Research in semi-Markovian decision structures. J. Oper. Res. Soc
Japan, 1964, 6, № 4, 163—199 (РЖМат, 1967, 6B67)
169. — , System analysis of semi-Markov processes- IEEE Trans- Milit.
Electron., 1964, 8, № 2, 114—124 (РЖМат, 1965, 2B75)
170. Hunter J. J., On the moments of Markov renewal processes. Adv. Appl.
Probab., 1969, 1, № 2, 188-210 (РЖМат, 1970, 11B80)
171.- — , On the renewal density matrix .of a semi-Markov process. Sankhya,.
1969, A31, № 3, 281--308 (РЖМат, 1970, 10B56)
172. Jacod J., Un theorerne de renouvellement pour les chaines semi-Markoviennes. С r. Acad, sci., 1970, 270, № 4, A255—A258 (РЖМат, 1970,.
8B55)
173. — , Chatnes semi-Markoviennes transientes et recurrentes, chaines posi­
tives. С r. Acad, sci., 1970, 270, № 12, A776—A779 (РЖМат, 1970,.
12B50)
174. — , Theoreme de renouvellement et classification pour les chaines semiMarkoviennes. Ann. Inst. H. Poincare, 1971, B7, № 2, 83—129 (РЖМат,.
1972, 1B159)
175. — , Generateurs infinitesimaux des processus a accroissements semiMarkoviens. Ann. Inst. H. Poincare, 1971, B7, Ha 3, 219—233 (РЖМат,.
1972, 2B50)
176. Janssen J., Processus de renouvellements Markoviens et processus
semi-Markoviens.. Cah- Cent. etud. rech. oper., 1964, 6, 81—105
177. — , Processus de renouvellements Markoviens. 2-е partie. Stationnarite.
et Application a un problem d'invalidite, Cah, Cent etud, rech, oper.,
1965, 7, 126—141
178. — , Application des processus semi-Markoviens & un probleme d'invali­
dite. Bull. l'ARAB, 1966, 63, 35—52
179. — , Les processus (J—X). Cah. Cent. etud. tech. oper., 1969, 11, № 4,
181—214 (РЖМат, 1970, 11B20)
180. Jewell W. S., Markov-renewal programming. I. Formulation, finite re­
turn models. Oper. Res., 1963, 11, № 6, 938—948 (РЖМат, 1964,.
9B218)
181. — , Markov-renewal programming. II. Infinite return models, example.
Oper. Res., 1963, 11, № 6, 949—971 (РЖМат, 1964, 9B219); русский
перевод: Джевелл В. С , ' Управляемые полумарковские процессы.
Кибернет. сб. М., Мир, 1967, 97—140
182. — , Fluctuations of a renewal-reward process. J, Math. Anal, and Appl.,.
1967, 19, № 2, 309—329 (РЖМат, 1969, 5B71)
183. Keilson J., On the matrix renewal function for Markov renewal pro­
cesses. Ann. Math. Stat, 1969, 40, № 6, 1901—1907 (РЖМат, ' 1971,.
6B62)
184. Kesten H., Occupation times for Markov and semi-Markov chains.
Trans. Amer. Math. Soc, 1962, 103, № 1, 82—112 (РЖМат, 1963,.
2В1П)
185. Ksbirsagar A. M., G u p t a Y. P., Asymptotic values of the first two
moments in Markov renewal processes. Biometrika, 1967, 54, № 3-4,.
597--603 (РЖМат, 1968, 5B35)
186. — , --- , Mean and variance of the number of renewals in certain
Markov renewal processes. J. Indian Statist. Assoc, 1968, 6 , № 1 , 2
187. — , — , Some results in Markov renewal processes- Calcutta Statist.
: Assoc- Bull, 1969, 18, № 70, 61---72 (РЖМат, 1970, 6B102)
94
•
188. — , —- , Distribution of the number of Markovian renewals in an arbi­
trary interval. Austral. J. Statist.,' 1970, 12, № 1, 58—63 (РЖМат,.
1971, 1B59)
189. —• , W y s o c k i R., Some distribution and moment formulae for theMarkov renewal process. Proc. Cambridge Phil. Soc, 1970, 68, M° 1,.
159—166 (РЖМат, 1971, 2B46)
190. Kurtz T. G., Comparison of semi-Markov and Markov processes'. Ann.
Math. Stat., 1971, 42, № 3, ,991—1002 (РЖМат, 1972, 1B158)
191. Lambotte J.-P., Processus semi-Markoviens et files d'attente. Cah. CentMud. recti, opfer., 1968, 10, № 1, 211—31 (РЖМат, 1969, 11B54)
192..— , T e g h e m J., Utilisation de la theorie des processus semi-Marko­
viens dans Tetude de problfemes' de files d'attente. Queuing Theory.
London, 1967, 61—64 (РЖМат, 1970, 10B59)
193. Levy P., Systemes semi-Markoviens a au plus une infinite dexiombrabled'etats possibles- Proc- Int. Congr. Math., 1954, 2, Amsterdam, 1954,
294—295 (РЖМат, 1956, 638)
194. — , Processus semi-Markoviens. Proc. Int. Congr. Math., 1954, 3, Groningen-Amsterdam, .1956, 416—426 (РЖМат, 1958, 5930)
195. Lippman S. A., Maximal average-reward policies for semi-Markov de­
cision processes with arbitrary state and action space. Ann. Math. Stat.,
1971, 42, № 5, 1717—1726 (РЖМат, 1972, 6B56)
196. McLean R. A., N e u t s M. F„ The integral of a function defined on
a semi-Markov process- SIAM J- Appl. Math., 1967, IS, № 3, 726—737"
(РЖМат, .1969, 2B47)
.
197. Moore E. H., A semi-Markov process model for secondary acquisition
systems. IEEE Trans. Aerospace and Electron. Syst., 1969, 5, № 1,:
33—38 (РЖМат, 1969, 10B151)
198. — , Р у к е R., Estimation of the transition distributions of a Markov
renewal process. Ann. Inst. Statist. Math., 1968, 20, № 3, 411—424(РЖМат, 1969, 11B210)
199. Nair S. S., Semi-Markov analysis of two queues in series attended bv
a single server. Bull. Soc. math. Belg,, 1970, 22, № 4, 355-—367"
• (РЖМат, 1971, 11B95)
200. — , A single server tandem queue. J. Appl. Probab., 1971, 8, № 1, 95—
109 (РЖМат, 1971, 12B119)
201. — , N e u t s M. F., A priority rule based on-the ranking of the ser­
vice times, for the M/G/r queue. Oper. Res., 1969, 17, № 3, 466—477"
(РЖМат, 1970, 3B504)
202. Neuts M. F., Generating functions for Markov renewal processes. Ann.
Math. Stat, 1964,'35, № 1, 431—434 (РЖМат, 1965, 2B95)
203. — , The busy period of a queue with batch service. Oper. Res., 1965,.
13, № 5, 815—819 (РЖМат, 1966, 10B235)
204. — , Semi-Markov analysis of a bulk queue. Bull. Soc. math. Belg.,
1966, 18, № 1, 28—42 (РЖМат, 1966, 12B57)
205. — , The single server queue with Poisson input and semi-Markov ser­
vice times. J. Appl. Probab., 1966, 3, № 1, 202—230 (РЖМат, 1967,
3B47)
206. — , A general class of bulk queues with Poisson input. Ann. Mate..
S,tal, 1967, 38, № 3, 759—770 (РЖМат, 1971, 7B87)
207. — , Two Markov chains arising from examples of queues with statedependent service times. Sankhya, Indian J. Statist., 1967, 29, № 3,
259—264 (РЖМат, 1968, 6B56)
208. —- , Two queues in series with a finite, intermediate waiting-room. J.
Appl. Probab., 1968, 5, № 1, 123—142 (РЖМат, 1969, 3B48)
209. —, The queue with Poisson input and general service times, treated'
as a branching process. Duke Math. J., 1969, 36, № 2, 215—231
(РЖМат,. 1970, 6B65) ,
210. — , Two servers in series, studied in terms of a Markov renewal
branching process. Adv. Appl. Probab., 1970, 2, № 1, 110—149 (РЖМат,.
1971, 2B45)
'
95
*211-. — , A queue subject to extraneous phase changes. Adv. Appl. Probab.,
1971, 3, № 1, 78—119 (РЖМат, 1971, 12B135)
:212. — , T e u g e 1 s J. L., Exponential ergodicity of the M/G/l queue.
SIAM'J'. Appl. Math., 1969, 17, № 5, 921—929 (РЖМат, 1970, 7B58)
213. Orey S., Change of time scale for Markov processes/Trans. Amer. Math.
Soc, 1961, 99, №. 3, 384—397 (РЖМат, 1963, 7B130)
.214. Pearce С;, A queueing system with non-recurrent input and batch
servicing. J. Appl. Probab., 1965, 2, № 2, 442—448 (РЖМат, 1966,
10B53)
.215. Руке R., Markov renewal, processes: definitions and preliminary pro• perties. Ann. Math. Stat, 1961, 32, № 4, 1231—1242 (РЖМат, 1963,
8B146)
.'216. — , Markov renewal processes with finitely marly states. Ann. Math.
Stat, 1961, 32, № 4, 1243—1259 (РЖМат, 1963, 8B147)
.217. —, S c h a u f e l e R. A. Limit theorems for Markov renewal processes.
Ann. Math. Stat., 1964, 35, № 4, 1746—1764 (РЖМат, 1967, 12B31)
.218. — , — , The existence and uniqueness of stationary measures for Mar­
kov renewal processes. Ann. Math. Stat., 1966, 37, № 6, 1439—1462
(РЖМат, 1971, 1 OB 144)
.219. Ross S. M., Average cost semi-Markov decision processes. J. Appl.
Probab., 1970, 7, № 3, 64Э--656 (РЖМат, 19.71, 6B88)
.220. Schal M., Markov renewal processes with auxiliary paths. Ann. Math.
Stat, 1970, 41, № 5, 1604—1623 (РЖМат, 1971, 10B145)
:221. — , Rates of convergence in Markov renewal processes with auxiliary
paths. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1970, 16, № 1,
29-38 (РЖМат, 1971, 5B98)
.'222. — , The analysis of queues with state-dependent parameters by Mar­
kov renewal processes. Adv. Appl. Probab., 1971, 3, № 1, 155—175
(РЖМат, 1971, 12B129)
'223. Schaufele R., Potentials associated with recurrent Markov processes.
J. Math. Anal. Appl., 1966, 13, № 2, 303—336 (РЖМат, 1968, 2B53)
.224. Schweitzer P. J., Iterative solution of the functional equations of undiscounted Markov renewal programming. J. Math. Anal. Appl., 1971,
34, № 3, 495—501 (РЖМат, 1972, 3B445)
-225. Sertozo R. R, Functions of semi-Markov processes. SIAM J. Appl.
Math., 197.1, 20, № 3, 530—535 (РЖМат, 1971, 12B109)
.226. — , Random time transformations of' semi-Markov processes. Ann.
Math. Stat, 1971, 42, № 1, 176-188 (РЖМат, 1972, 1B157)
;227. Smith W. L., Regenerative stochastic processes.-Proc. Roy. Soc, 1955,
A232, 6-31 (РЖМат, 1959, 621)
228. — , Some peculiar semi-Markov processes. Proc. 5th Berkeley Sympos.
Math. Statist, and Probab., 1965—1966. Vol. 2. Part 2, Berkeley —Los
Angeles, 1967, 255—263 (РЖМат, 1970, 3B72)
•:229, — , Remarks on the paper "Regenerative stochastic processes". Proc.
Roy. Soc, 1960, A256, № 1287, 496—501 (РЖМат, 1961, 2B30)
230. Stone L. D., On the distribution of the maximum of a semi-Markov pro­
cess. Ann. Math. Stat., 1968, 39, № 3, 947—956 (РЖМат, 1971, 9B109)
•231. •— , On-the distribution of the .supremum functional for semi-Markov
processes with continuous state spaces. Ann. Math. Stat, 1969, 40, № 3,
844—853 (РЖМат, 1971, 8B96)
232. — , Distribution of time above a threshold for gettii-Markov jump pro­
cesses. J. Math. Anal, and Appl., 1970, 30, № 3, 576—591 (РЖМат,
1971, ЗБ36)
(
:233. Stormer H., Semi-Markoff-Prozesse mi't endlich vielep Zustanden. Theo, rie und Anwendungen.. Lect. Notes Oper. Res. and Math. Syst, 1970,
№ 34, VII, 128S. (РЖМат, 1971, 5B62)
234. Taga Yasushi, On the limiting distributions in Markov renewal pro­
cesses with fihitely many states. Ann. Inst. Statist. Math., 1963, IS,
№ I, 1—10 (РЖМат, 1964, 12B34)
235. Takacs L., Bizonyos tipusu rekurrens sztochasztikus folyamatok vizs' '.96
gfilatar61. Magyar tud. akad. Mat. Kutato. int. kozl, 1954, 3, № 1-2,
115—128 (РЖМат, 1961, 10B26)
236. — , On a generalization of the renewal theory. Magyar tud. akad. Mat.
kutatd. int. kozl, 1957, 2, № 1-2, 91—103 (РЖМат, 1963, 11B152)
237. — , On a sojourn time problem. Теория вероятностей и ее примене­
ния, 1958, 3, № 1, 61—69 (РЖМат, 1958, 7962)
238. — , On a sojourn time problem in the theory of stochastic processes.
Trans. Amer. Math. Soc, 1959, 93, № 3, 531—540 (РЖМат, 1961,
10B27)
239. Teugels J. L., Exponential ergodicity in Markov renewal processes. J.
Appl. Probab., 1968,. 5, № 2, 387—400 (РЖМат, 1969, 4B55)
240. — , Regular variation of Markov renewal functions. J. London Math.
Soc, 1970, 2, № 1, 179—190 (РЖМат, 1972, 1B181)
241. Yackel J., Limit theorems for semi-Markov processes. Trans. Amer. Math.
Soc, 1966, 123, № 2, 402—424 (РЖМат, 1967, 5B24)
'242. — , A random time change relating semi-Markov and Markov pro­
cesses. Ann. Math. Stat., 1968, 39, № 2, 358—364 (РЖМат, 1971,
10B105)
7
Заказ № 382