Программа курса “Случайные процессы” лектор — к.ф.-м.н. Д. А. Шабанов 1. Напоминание основ теории вероятностей: вероятностное пространство (Ω, F, P), непрерывность вероятностной меры, понятие независимости систем событий. 2. Характеристические функции случайных векторов, теорема единственности и независимость компонент случайного вектора в терминах характеристических функций. 3. Понятие случайного процесса (случайной функции). Примеры: случайное блуждание, процессы восстановления, эмпирические меры, модель страхования Крамера – Лундберга. 4. Простейшее симметричное случайное блуждание на прямой: распределение первого момента возвращения в нуль для простейшего симметричного случайного блуждания на прямой, теорема о возвратности п.н. симметричного случайного блуждания на прямой. Теорема об асимптотическом поведении времени, проведенном симметричным случайным блужданием в нуле за время n. 5. Простейшее случайное блуждание на прямой: задача о разорении игрока. Теорема о вероятности выигрыша. 6. Ветвящиеся процессы Гальтона - Ватсона. Теорема о вероятности вырождения ветвящегося процесса. 7. Конечномерные распределения случайного процесса. Теорема Колмогорова о согласованных распределениях (док-во необходимости). Условия согласованности вероятностных мер на (Rn , B(Rn )) в терминах характеристических функций. 8. Процессы с независимыми приращениями: критерий существования в терминах характеристических функций приращений. 9. Пуассоновский процесс постоянной интенсивности как процесс с независимыми приращениями. Явная конструкция пуассоновского процесса: процесс восстановления для экспоненциальных случайных величин. 10. Гауссовские случайные векторы (многомерное нормальное распределение): три эквивалентных определения, основные свойства, критерий независимости компонент гауссовского вектора. 11. Ковариационная и корреляционная функции случайного процесса, их неотрицательная определенность. 1 12. Гауссовские случайные процессы. Доказательство существования гауссовского процесса с заданными функцией среднего и ковариационной функцией. 13. Два определения винеровского процесса: как процесса с независимыми приращениями и как гауссовского процесса, доказательство эквивалентности. Конечномерные распределения винеровского процесса. 14. Модификация случайного процесса. Теорема Колмогорова о существовании непрерывной модификации (б/д). Непрерывность с вероятностью 1 траекторий винеровского процесса. 15. Дополнительные свойства траекторий винеровского процесса (все б/д): недифференцируемость с вероятностью 1, неограниченность вариации, закон повторного логарифма и его локальное следствие. 16. Понятие фильтрации на вероятностном пространстве, естественная фильтрация случайного процесса. Марковские моменты и моменты остановки. Строго марковское свойство и принцип отражения для винеровского процесса (оба б/д). Теорема Башелье. 17. Марковские цепи с дискретным временем и конечным фазовым пространством: матрица переходов, уравнения Колмогорова - Чепмена. Эргодическая теорема для марковских цепей. Предельное, эргодическое и стационарное распределения для марковской цепи, взаимосвязь между ними. 18. Марковские цепи с непрерывным временем. Построение марковской цепи по начальному распределению и переходным вероятностям. Пуассоновский процесс как однородная цепь Маркова. 19. Эргодическая теорема для однородных цепей Маркова с непрерывным временем (б/д) и следствия из нее. 20. Инфинитезимальная матрица. Существование инфинитезимальной матрицы для стандартной марковской цепи (б/д). Прямые и обратные дифференциальные уравнения Колмогорова. Стационарное и предельное распределения для цепей Маркова с непрерывным временем. 21. Процессы чистого размножения: критерий отсутствия “демографического взрыва” с вероятностью 1. 22. Условное математическое ожидание: основные свойства и способы вычисления. 23. Общее понятие марковского процесса. Марковость процессов с независимыми приращениями. Критерий марковости для гауссовских процессов. 24. Мартингалы, субмартингалы и супермартингалы. Критерий мартингальности для процессов с независимыми приращениями и для марковских процессов. Разложение Дуба для субмартингалов с дискретным временем. 2 25. Стационарные случайные процессы: стационарность в узком и широком смыслах. Доказательство эквивалентности этих понятий для гауссовских процессов. Стационарность в узком смысле марковской цепи с начальным стационарным распределением. Теорема Бохнера – Хинчина (док-во необходимости). Спектральная плотность стационарного в широком смысле процесса, ее вычисление с помощью формулы обращения. 26. Стохастическая непрерывность и непрерывность в среднем квадратичном случайного процесса. Критерий непрерывности в среднем квадратичном L2 -процесса в терминах ковариационной функции. Критерий стохастической непрерывности в терминах сходимостей двумерных конечномерных распределений. 27. Интегрирование и дифференцирование случайных процессов по вероятности и в среднем квадратичном. Доказательство того, что из непрерывности в среднем квадратичном следует интегрируемость. 28. Вычисление математического ожидания и ковариационной функции L2 -интеграла (производной) от случайного процесса. СПИСОК ЛИТЕРАТУРЫ 1. Ширяев А. Н. Вероятность. В 2-х кн. — 3-е изд. — М.: МЦНМО, 2004. 2. Булинский А. В., Ширяев А. Н. 2005. 3. Боровков А. А. Теория случайных процессов. — М.: Физматлит, Теория вероятностей. — 4-е изд. — М.: Едиториал УРСС, 2003. 4. Севастьянов Б. А. Курс теории вероятностей и математической статистики. — 2-е изд. — М.-Ижевск: Институт компьютерных исследований, 2004. 5. Феллер В. 1984. Введение в теорию вероятностей и ее приложения. В 2-х т. — М.: Мир, 6. Вентцель А. Д. Курс теории случайных процессов. — 2-е изд. — М.: Наука.Физматлит, 1996. 3 Задачи для самостоятельного решения 1. Случайное блуждание на прямой 1. Пусть Sn , n ∈ N — симметричное случайное блуждание на прямой. Используя принцип отражения докажите, что P max Sk ≥ N, Sn < N = P (Sn > N ) . k≤n 2. Пусть Sn , n ∈ N — симметричное случайное блуждание на прямой. Используя результат задачи 1, найдите распределение случайной величины Mn = max Sk . k≤n 3. Пусть Sn , n ∈ N — случайное блуждание с вероятностью шага вправо p и шага влево q, p + q = 1. Докажите, что для m ≤ N выполнено P max Sk ≥ N, Sn = m = Cnu pv q n−v , k≤n где v = (n + m/2), u = v − N . 4. Пусть Sn , n ∈ N — симметричное случайное блуждание на прямой. Используя результат задачи 3, докажите равенство P max Sk = N, Sn = m = P (Sn = 2N − m) − P (Sn = 2N − m + 2) . k≤n 2. Закон повторного логарифма для случайного блуждания на прямой 1. Пусть ξ1 , ξ2 , . . . — независимые стандартные нормальные случайные величины. Докажите, что ξn P lim √ = 1 = 1. n 2 ln n 2. Пусть ξ1 , ξ2 , . . . — независимые пуассоновские случайные величины с параметром λ. Докажите, что ξn ln ln n P lim = 1 = 1. n ln n 3. Пусть ξ1 , ξ2 , . . . — независимые пуассоновские случайные величины с параметром λ. Чему с вероятностью 1 равен ξn ln ln n lim ? ln n 4 3. Ветвящиеся процессы 1. Найдите производящую функцию числа частиц в n-м поколении, если производящая функция числа потомков одной частицы равна а) pz + 1 − p, б) (1 − p)/(1 − pz), в) 1 − p(1 − z)α , α ∈ (0, 1). 2. Найдите вероятности вырождения для ветвящихся процессов с производящей функцией числа потомков одной частицы а) (1 − p)/(1 − pz), б) 1 − p(1 − z)α , α ∈ (0, 1), в) (1 + z + z 2 + z 3 )/4. 3. Найдите распределение момента вырождения N для ветвящихся процессов с производящей функцией числа потомков одной частицы а) pz + 1 − p, б) 1 − p(1 − z)α , α ∈ (0, 1). 4. Пусть ξ — число потомков частицы в ветвящемся процессе Гальтона-Ватсона (Xn ). Обозначим Mξ = µ, Dξ = σ 2 . Найдите DXn . 4. Процессы с независимыми приращениями. Пуассоновский процесс 1. Пусть Xt , t ∈ R — процесс с независимыми приращениями. Пусть для некоторых t1 < t2 выполнено Xt1 − Xt2 = a п.н. Докажите, что тогда для любых u1 , u2 ∈ (t1 , t2 ) существует такая константа b, что Xu1 − Xu2 = b п.н. PNt 2. Задан процесс {Yt = j=1 ξj , t ≥ 0}, где (ξn )n∈N — независимые одинаково распределенные случайные величины, не зависящие также от пуассоновского процесса N = {Nt , t ≥ 0} интенсивности λ. Докажите, что Yt имеет независимые приращения. 3. Пусть N = {Nt , t ≥ 0} — пуассоновский процесс интенсивности λ. Найти математическое ожидание числа таких его скачков на отрезке [0, T ], что а) в их правой a-окрестности нет других скачков (эта окрестность может выходить и за пределы отрезка), б) в их левой a-окрестности нет других скачков, в) в их a-окрестности нет других скачков (эта окрестность может выходить и за пределы отрезка). 4. Случайные величины X, Y независимы и равномерно распределены на [0, 1], а N = {N (t), t ≥ 0} — пуассоновский процесс интенсивности λ, не зависящий от (X, Y ). Найти вероятность того, что между точками X и Y нет скачков пуассоновского процесса. 5. Гауссовские процессы. Винеровский процесс 1. Пусть (X, Y ) — гауссовский вектор, причем MX = MY = 0, DX = DY . Коэффициент корреляции X и Y равен ρ. Обозначим Φ = arctg Y /X. Найдите плотность случайной величины Φ. 2. Случайные величины X и Y — независимые нормальные с параметрами (0, 1). Дока2 2 жите, что распределение √ случайной величины Z = (X + a) + (Y + b) зависит только лишь от величины r = a2 + b2 . 5 3. Пусть Wt — винеровский процесс. Докажите, что следующие процессы тоже винеровские √ а) Xt = t W1/t I{t > 0}, б) Xt = c Wt/c , c > 0, в) Xt = Wt+a − Wa , a > 0, г) Xt = Wt I{t < T } + (2WT − Wt )I{t ≥ T }. 4. Пусть Yt , t ∈ [0, 1] — гауссовский процесс с нулевой функцией среднего и ковариационной функцией r(s, t) = min(s, t) − st. Докажите, что такой процесс существует и что процесс Xt = (t + 1)Yt/(t+1) , t ≥ 0 является винеровским. 5. Задан винеровский процесс Wt , t ≥ 0. Найдите плотность случайного вектора (Wt + Ws , Ws + Wu ) при t > s > u > 0. 6. Марковские моменты. Принцип отражения для винеровского процесса 1. Пусть задана фильтрация F = (Fn , n ∈ N), а τ1 , τ2 , . . . — марковские моменты относительно F. Докажите, что случайные величины m X k=1 τk , m Y τk , sup τk , inf τk k k=1 k тоже являются марковскими моментами относительно F. 2. Пусть (Wt , t ≥ 0) — винеровский процесс. Положим τy = min{t : Wt = y} для y > 0. С помощью теоремы Башелье найдите плотность случайной величины τy , а также Mτy . 3. Пусть (Wt , t ≥ 0) — винеровский процесс. Положим τ = min{t : Wt = y} для некоторого y > 0. Найдите плотность случайной величины Ya = supt∈[τ,τ +a] Wt . 7. Марковские цепи 1. Пусть ξn — цепь Маркова с фазовым пространством S = {1, 2, 3}, начальным состоянием ξ0 = 1 п.н. и матрицей переходных вероятностей 3/7 3/7 1/7 1/11 2/11 8/11 . 1/11 4/11 6/11 Положим ηn = I{ξn = 1} + 2I{ξn 6= 1}. Докажите, что ηn — тоже марковская цепь и найдите ее матрицу переходов. 2. Цепь Маркова ξn имеет начальное состояние ξ0 = 0 и переходные вероятности P(ξn+1 = k + 1| ξn = k) = p, P(ξn+1 = k| ξn = k) = 1 − p, k, n ∈ N, p ∈ [0, 1]. Найдите распределение ξn . Докажите, что последовательность τ0 = 0, τk = min{n : ξn = k} также является цепью Маркова и найдите ее переходные вероятности. 6 3. Цепь Маркова ξn имеет начальное состояние ξ0 = 0 и переходные вероятности P(ξn+1 = k + 1| ξn = k) = a−k , P(ξn+1 = k| ξn = k) = 1 − a−k , k, n ∈ N, a > 1. Найдите Maξn и Daξn . 4. Найдите стационарное распределение для марковской цепи, матрица переходных вероятностей которой имеет вид: 2/9 1/3 0 4/9 4/9 0 2/9 1/3 1/9 2/9 2/3 0 4/9 1/9 0 4/9 0 4/9 2/9 1/3 1/3 0 0 2/3 , б) , в) . а) 2/9 2/9 2/9 1/3 0 2/3 0 1/3 1/3 4/9 2/9 0 2/9 2/9 4/9 1/9 4/9 2/9 2/9 1/9 2/9 2/9 1/3 2/9 5. Система “массового обслуживания” состоит из прибора и ремонтного устройства. Прибор работает случайное время, имеюшее показательное распределение с параметром λ. Ремонт прибора занимает случайное время, имеющее показательное распределение с параметром µ. Обозначим p1 (t) = P (прибор работает в момент времени t), p2 (t) = P (прибор ремонтируется в момент времени t). Найдите pi (t) i = 1, 2 при условии а) p1 (0) = 1, p2 (0) = 0; б) p1 (0) = 1/2, p2 (0) = 1/2. 6. Докажите, что пуассоновский процесс интенсивности λ является однородной марковской цепью. Найдите его переходные вероятности, инфинитезимальную матрицу и стационарное распределение. 8. Марковские процессы и мартингалы 1. Пусть (Xt , t ∈ T ) — действительный марковский процесс, T ⊂ R+ . Пусть для любого t ∈ T задана борелевская функция ht . Рассматривается случайный процесс Yt = (ht (Xt ), t ∈ T ). Докажите, что если ht — биекция для любого t ∈ T (считаем, что в этом случае h−1 — тоже борелевская), то Yt — тоже марковский процесс. Приведите t пример марковского процесса Xt и функций ht , при которых процесс Yt не является марковским. 2. Пусть (Wt , t ≥ 0) — винеровский процесс. Докажите, что процесс Yt = Wt2 −t является мартингалом относительно естественной фильтрации процесса Wt . 3. Пусть ξ1 , . . . , ξn , . . . — такая последовательность случайных величин, что для любого n существует плотность fn (x1 , . . . , xn ) случайного вектора (ξ1 , . . . , ξn ). Пусть η1 , . . . , ηn , . . . — другая последовательность случайных величин, причем также для любого n существует плотность gn (x1 , . . . , xn ) случайного вектора (η1 , . . . , ηn ). Докажите, что процесс gn (ξ1 , . . . , ξn ) Xn = fn (ξ1 , . . . , ξn ) является мартингалом относительно фильтрации (Fn = σ(ξ1 , . . . , ξn ), n ∈ N). 7 9. Стационарные процессы 1. Пусть N = {N (t), t ≥ 0} — пуассоновский процесс интенсивности λ, а случайная величина η не зависит от N, причем P(η = 1) = P(η = −1) = 1/2. Является ли процесс Xt = η(−1)Nt стационарным, и в каком-либо смысле? 2. Пусть f — периодическая функция на R с периодом T > 0. Случайная величина ξ равномерно распределена на [0, T ]. Случайный вектор (ζ, η) не зависит от ξ и имеет плотность. Докажите, что процесс Xt = ζf (ηt + ξ) стационарен в узком смысле. 3. Пусть Xt — гауссовский процесс с нулевой функцией среднего и ковариационной функцией r(s, t) = a e−b|s−t| , a, b > 0. Докажите, что такой процесс существует и найдите его спектральную плотность. (1) (2) 4. Пусть Wt и Wt — независимые винеровские процессы. Для любого t ∈ R положим (1) (2) Xt = Wt I{t ≥ 0} + W−t I{t < 0}. Докажите, что процесс Yt = h1 (Xt − Xt−h ) стационарный в широком смысле. Найдите его ковариационную функцию и спектральную плотность. 10. Интегрирование и дифференцирование в L2 1. RПусть Wt — винеровский процесс. Найдите распределение случайной величины Xt = t Ws ds. 0 2. Задан случайный процесс Xt = dtd e−V t + V t , t > 0, где случайная величина V имеет номальное распределение с параметрами (a, σ 2 ). Найдите математическое ожидание и ковариационную функцию процесса Xt . 3. Задан случайный процесс Xt = Rt e−Ws ds, где Ws — винеровский процесс. Найдите 0 математическое ожидание и ковариационную функцию процесса Xt . 4. Стационарный процесс Y удовлетворяет равенству dYt /dt = Xt , где стационарный процесс (Xt , t ∈ R) имеет спектральную плотность f (λ) = λ2 I{|λ| < 1}. Найдите cov(Y1 , Y0 ). 8