марк_2

ФГБОУ ВПО "Брянский государственный технический
университет"
Кафедра «Компьютерные технологии и системы»
ЛАБОРАТОРНАЯ РАБОТА №5
« МАРКОВСКИЕ ПРОЦЕССЫ»
Выполнили:
студенты гр. 08-САПР
Капшивый А.А.
Герасимчук В.Ю.
Проверил:
Филиппова Л.Б.
.
БРЯНСК 2011
1. Цель работы
Целью
работы
является
получение
навыков
формирование
оптимальной стратегии, максимизирующей ожидаемый доход от процесса,
имеющего конечное или бесконечное число этапов.
2. Теоретическая часть
Для решения задачу можно представить как задачу динамического
программирования (ДП) с конечным числом этапов, следующим образом.
Пусть число состояний для каждого этапа (года) равно т. Обозначим через
fn(i) оптимальный ожидаемый доход, полученный на этапах от k до N
включительно при условии, что система находится в начале этапа n в
состоянии i.
Обратное рекуррентное уравнение, связывающее f и fn+1, можно
записать в виде
m

max  pijk rijk   n 1 ( j ) 
k
 j 1
 , n=1,2,…,N,
ƒn(i)=


где fn+1(j)=0 для всех j.
Приведенное уравнение основано на том, что накапливающийся доход
pkij +ƒn+1(j) получается в результате перехода из состояния i на этапе n в
состояние j
на этапе п + 1 с вероятностью pkij. Введя обозначение
m
vik   pijk rijk
j 1
,
рекуррентное уравнение ДП можно записать следующим образом:
ƒN(i)=
 
max vik
k
,
m


max vik   pijk f n1 ( j )
k
j 1

 , n=1,2,…,N-1.
ƒn(i)=
Задача при конечном горизонте планирования (решенная выше задача
2
садовника) может быть обобщена в двух направлениях. Во-первых,
переходные вероятности и функции дохода не обязательно должны быть
одинаковы для каждого года. Во-вторых, можно использовать коэффициент
переоценки (дисконтирования) ожидаемых доходов для последовательных
этапов,
вследствие
чего
значения
f1(i)
будут
представлять
собой
приведенные величины ожидаемых доходов по всем этапам.
k
k
В первом случае значения доходов rij и переходные вероятности pij
должны
быть функциями этапа п. Здесь рекуррентное уравнение динамического
программирования принимает вид
 
f N (i)  max vik , N ,
k
m


f n (i)  max vik ,n   pijk ,n f n 1 ( j ), n  1,2,..., N  1
k
j 1


где
m
vik ,n   pijk ,n rijk ,n
j 1
Второе обобщение заключается в следующем. Пусть α (< 1) — годовой
коэффициент переоценки (дисконтирования), тогда D долларов будущего
года равны αD долларам настоящего года. При введении коэффициента
переоценки исходное рекуррентное уравнение преобразуется в следующее:
 
f N (i)  max vik ,
k
m


f n (i)  max vik    pijk f n 1 ( j ), n  1,2,..., N  1
k
j 1


3. Практическая часть
3.1.1. Задача 1
Фирма ежегодно оценивает положение со сбытом одного из видов
своей основной продукции и дает ему удовлетворительную (состояние 1) или
неудовлетворительную оценку (состояние 2). Необходимо принять решение о
целесообразности рекламирования этой продукции в целях расширения ее
сбыта. Приведенные ниже матрицы Р1 и Р2 определяют переходные вероятности при наличии рекламы и без нее в течение любого года. Соответствующие доходы заданы матрицами R1 и R2. Найдите оптимальные решения для последующих трех лет.
 0.9
P1  
 0.5
 0.8
P 2  
 0.7
0.1 
 2 1
 R1  

0.5 
 1  3
0.2 
 2  1
 R 2  

0.3 
2 1 
3.1.2. Решение
В результате различных рекламных мероприятий фирма может изменить переходные вероятности Р1. Обычно для повышения продуктивности
применяется реклама.
Эти мероприятия приводят к новой матрице
переходных вероятностей Р2.
 0.8 0.2 

P 2  
 0.7 0.3 
Чтобы
рассмотреть
задачу
принятия
решений
в
перспективе,
необходимо связывать с переходом из одного состояния в другое функцию
дохода (или структуру вознаграждения), которая определяет прибыль или
убыток за одногодичный период в зависимости от состояний, между
которыми осуществляется переход. Так как фирма может принять решение
использовать или не использовать рекламу, его доход или убыток будет
изменяться в зависимости от принятого решения. Матрицы R1 и R2
определяют функции дохода (в сотнях долл.) и соответствуют матрицам
переходных вероятностей Р1 и Р2.
 2 1

R1  
 1  3
 2  1

R 2  
2 1 
Элементы r1ij
матрицы R2 учитывают затраты, связанные с
применением рекламы
Элементы r1ij
матрицы R2 учитывают затраты, связанные с
применением рекламы
В этом примере задача садовника решается при данных, заданных
матрицами Р1, Р2, R1 и R2. Предполагается, что горизонт планирования
включает 3 периода (N = 3).
Так как значения
многократно используются в вычислениях, для
удобства они сведены в таблицу. Напомним, что значение k=1 соответствует
решению "не рекламировать", k=2 — "рекламировать".
Таблица 1.
Расчет результатов.
i
k=1
k=2 F1(i) k
1
1,7 0,8
1,7 k=1
2
-1 2,7
2,7 k=2
i
k=1
k=2 f2(i)
k
1
3,5 2,7
3,5 k=1
2
1,2 4,7
4,7 k=2
i
k=1
k=2 F3(i) k
1 5,32 4,54 5,32 k=1
2
3,1 6,56 6,56 k=2
i
k=1
k=2 F4(i) k
1 7,144 6,37 7,144 k=1
2 4,94 8,39 8,392 k=2
Оптимальное решение показывает, что в 1-й и 2-й периоды, как и в
последующие, фирма должна применять рекламу (k*= 2) в зависимости от
состояния системы (фирма не рекламировала). Суммарный ожидаемый доход
за три периода составит f3(1)=5,32 при рекламировании системы в 1-й год,
f3(2) = 6,56 — при отсутствии рекламы в 1-й год.
3.2.1. Задача 2
Компания может провести рекламную акцию с помощью одного из
трех средств массовой информации: радио, телевидения или газеты.
Недельные затраты на рекламу с помощью этих средств оцениваются в 200,
900 и 300 долл. соответственно. Компания оценивает недельный объем сбыта
своей продукции по трехбалльной шкале как удовлетворительный (1),
хороший (2) и отличный (3). Ниже указаны переходные вероятности,
соответствующие каждому из трех средств массовой информации.
Радио
Телевидение
1
2
3
1  0,4 0,5 0,1 


2  0,1 0,7 0,2 
3  0,1 0,2 0,7 
Соответствующие
1
Газета
2
3
1
1  0,7 0,2 0,1 


2  0,3 0,6 0,1 
3  0,1 0,7 0,2 
недельные
доходы
2
3
1  0,2 0,5 0,3 


2  0 0,7 0,3 
3  0 0,2 0,8 
(в
тыс.
долл.)
равны
следующему.
Радио
Телевидение
 400 520 600 


 300 400 700 
 200 250 500 


1000 1300 1600 


 800 1000 1700 
 600 700 1100 


Газета
 400 530 710 


 350 450 800 
 250 400 650 


Найдите оптимальную стратегию рекламы для последующих трех
недель.
3.2.2. Решение
Ход расчета и формулы аналогичны расчетам, выполняемым в части
2.2.
Шаг 1. Вычисляем - ожидаемый доход, получаемый за один этап при
стратегии s для заданного состояния i, i =1,2, .... т.
Таблица 2.
Расчеты
v1/1
v1/2
V1/3
480 v2/1
450 v2/2
420 V2/3
1120 V3/1
1010 V3/2
770 V3/3
558
555
600
i
k=1
k=2
K=3 f3(i)
1 480 1120 558 1120
2 450 1010 555 1010
3 420 770 600 770
k
k=2
k=2
k=2
i
k=1
1 1510
2 1423
3 1273
k=2
2183
2029
1743
K=3
1518
1493
1418
f3(i)
2183
2029
1743
k
k=2
k=2
k=2
i
k=1
1 2542
2 2437
3 2264
k=2
3228
3057
2757
K=3
2532
2498
2400
f3(i)
3228
3057
2757
k
k=2
k=2
k=2
i
k=1
1 3575
2 3464
3 3284
k=2
4267
4088
3784
K=3
3559
3522
3417
f3(i)
4267
4088
3784
k
k=2
k=2
k=2
Напомним, что значение k=1 соответствует решению "Использовать
радио", k=2 — "рекламировать по телевидению", k= — "рекламировать по
газете".
Исходя из табличных данных, лучше рекламировать по телевидению в
течение следующих 3 недель
3.3.1 Задача 3
. Задача управления запасами. Магазин электротоваров в целях
быстрого удовлетворения спроса покупателей на холодильники может
размещать заказы в начале каждого месяца. Каждое размещение заказа
приводит к постоянным затратам в 100 долл. Затраты на хранение одного
холодильника в течение месяца равны 5 долл. Потери магазина при
отсутствии холодильников оцениваются в 150 долл. за каждый холодильник
в месяц.
Магазин реализует следующую стратегию: максимальный уровень
запаса не должен превышать двух холодильников в течение любого месяца.
a)
Определите
переходные
вероятности
при
различных
альтернативах решения этой задачи.
b)
Определите ожидаемые месячные затраты на хранение запаса как
функцию состояния системы и альтернативных решений.
c)
Определите оптимальную стратегию размещения заказов на
последующие 3 месяца.
Плотности вероятностей спроса на следующий квартал определяются
значениями из следующей таблицы.
Таблица 3.
Спрос, х
0
1
2
Месяц
_______________________________________________
1
2
3
0,1
0,4
0,5
0,3
0,5
0,2
0,2
0,4
0,4
3.3.2 Решение.
Составляем таблицу затрат (Матрица R определяет функции дохода (в
сотнях долл.) и соответствуют матрице переходных вероятностей Р).
Матрицу R формируем учитывая условия и переходим от задачи
максимизации прибыли, к задаче минимизации убытков.
Таблица 4.
Переходные вероятности.
R
хранить
не хранить
хранить
-5
-155
не хранить
-155
-300
заказ
-105
-250
Вычисляем ожидаемый доход (таб. 5).
заказ
-105
-250
-200
Таблица 5
Расчеты
v1/1
v1/2
V1/3
-68
-312
-182,5
i
k=1
1
2
3
f3(i)
i
-68
-312
-182,5
-68
k=1
1
2
3
f3(i)
i
1
2
3
f3(i)
i
1
2
3
f3(i)
k
1
k
501
949
887,5
949
2
k=1
k
1107,6
2272,9
2012
2272,9
k=1
k
1723,24
3610,46
3145,8
3610,46
2
2
Напомним, что значение k=1 соответствует решению "хранить
холодильники", k=2 — "не хранить", k=3 — "Оформить заказ".
Исходя из табличных данных, лучше в первый месяц хранить, во что
бы то ни стало холодильники, а в последующие - не хранить.
4. Выводы
В ходе выполнения лабораторной работы, мы получили практические
навыки
формирования
оптимальной
стратегии,
максимизирующей
ожидаемый доход от процесса, имеющего конечное или бесконечное число
этапов, проанализировав три разные задачи и, в конечном счете, выбрав
стратегии.