Притыкин Дмитрий Аркадьевич

На правах рукописи
Притыкин Дмитрий Аркадьевич
ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ
МАТЕМАТИЧЕСКОЙ МОДЕЛЬЮ ВИЧ-ИНФЕКЦИИ
Специальность 05.13.18 – Математическое
моделирование, численные методы и
комплексы программ
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата физико-математических наук
Москва – 2007
Работа выполнена на кафедре системных исследований Московского физикотехнического института (государственного университета).
Научный руководитель:
доктор физико-математических наук,
профессор
ВЕЛИЧЕНКО Владислав Викторович
Официальные оппоненты:
доктор физико-математических наук,
профессор
РОМАНЮХА Алексей Алексеевич
кандидат физико-математических наук,
доцент
ВАЛУЕВ Андрей Михайлович
Ведущая организация:
Вычислительный центр им. А.А.Дородницына
РАН
Защита диссертации состоится « 26 » октября 2007 года в 12.30 на
заседании диссертационного совета K212.156.02 в Московском физикотехническом институте (государственном университете) по адресу: 141700,
Московская область, г. Долгопрудный, Институтский пер., д. 9, ауд. 903
КПМ.
С диссертацией можно ознакомиться в библиотеке Московского физикотехнического института (государственного университета).
Автореферат разослан « 25 » сентября 2007 года
Ученый секретарь
диссертационного совета
K212.156.02
к. ф.-м. н.
О. С. Федько
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы
Инфекция, вызываемая вирусом иммунодефицита человека (ВИЧ), - ВИЧинфекция, - в финале которой развивается смертельный синдром
приобретенного иммунного дефицита (СПИД), признана одним из
опаснейших инфекционных заболеваний человека. Главная опасность ВИЧинфекции, определяющая ее социальное значение, - практически неизбежная
гибель инфицированных в среднем через 10-11 лет после заражения ВИЧ.
Начавшаяся в конце 70-х годов пандемия ВИЧ-инфекции, по оценочным
данным Программы Организации объединенных наций по СПИДу (ООН
СПИД) и Всемирной Организации Здравоохранения к началу 2007 г. унесла
жизни более 25 млн. жителей Земли. Еще 40,3 млн. человек к этому времени
были инфицированы ВИЧ, и только в течение 2006 г. заразилось 4,9 млн.
человек.
Борьба с ВИЧ/СПИДом - одна из целей, сформулированных в Декларации
тысячелетия Организации Объединенных Наций, принятой ООН 8 сентября
2000 года. Государства-члены ООН обязались к 2015 году остановить
распространение ВИЧ/СПИДа и положить начало тенденции к сокращению
масштабов эпидемии.
Настоящая работа относится к направлению, развивающему методы
моделирования иммунной системы человека, библиография которого
насчитывает сотни работ. В последнее время в моделировании иммунной
системы человека достигнуты значительные успехи, причем разработанные
модели описывают столь сложную динамику иммунной системы и
внедряющихся в нее вирусов, что прогнозировать развитие болезни можно
только с помощью численного моделирования. Тем более невозможно без
продуманного вычислительного эксперимента предсказать окончательные
результаты влияния лекарственных препаратов на течение заболевания.
Такая задача сводится к проблеме функционального анализа, требующей
изучения отдаленного отклика динамической системы на воздействия,
распределенные по интервалам времени. Настоящая диссертационная работа
иллюстрирует возможность проведения подобного исследования на
основании строгих вариационных методов.
Вирус
ВИЧ-инфекции
обладает
чрезвычайной
изменчивостью.
Имеющиеся сегодня в арсенале медицины лекарства эффективно подавляют
его исходную форму, однако она тут же замещается формой-мутантом, на
которую эти лекарства уже не действуют (эффект резистентности). Кроме
того, существующие методы химиотерапии ВИЧ-инфекции и СПИДиндикаторных заболеваний крайне агрессивны. Некоторые лекарства для
лечения ВИЧ-инфекции вредны настолько, что их применение приводит к
негативным последствиям, соизмеримым с основным заболеванием. Таким
образом, программы лечения следует прокладывать с использованием всех
3
ресурсов организма и лекарственных препаратов, но при этом на границе
области допустимого.
Быстро развивающаяся резистентность вируса к лекарственным
препаратам, токсичность многих из них, а также высокая стоимость лечения
сводят до минимума возможности их использования для ВИЧинфицированных лиц в России. В условиях сложной динамики иммунной
системы выработка гибкой стратегии лечения, позволяющей уменьшить
лекарственную нагрузку и ее токсический эффект, а также преодолеть
развитие резистентности, становится одной из важнейших задач медицины.
В настоящей работе в качестве одного из средств формирования программ
лечения ВИЧ-инфекции предлагаются вариационные вычислительные
методы оптимального управления. В медико-биологической проблеме
СПИДа мы сталкиваемся с ситуацией, с которой давно имеет дело техника:
Объект (в данном случае иммунная система) настолько сложен, что человек
может проанализировать только его отдельные компоненты или выделенные
прямые и обратные материальные и информационные связи. Динамика же
объекта в целом может быть исследована с помощью математической
модели, а функциональные связи между воздействием на организм и его
реакцией в отдаленном времени можно выявить только с помощью
специальных численных методов. При решении сложных задач управления
возможности математики превосходят естественный интеллект человека.
Поэтому в медицине, столкнувшейся с этими задачами, методы теории
управления незаменимы, и без их помощи справиться с такими грозными
вызовами здоровью человека, как ВИЧ, невозможно. Понимание этого
должно сократить время внедрения в медицине математических
инструментов, на создание которых точные науки потратили века и
огромные усилия.
Настоящая работа претендует на демонстрацию возможностей,
математических методов управления в медицине, поэтому медицинские и
биологические обоснования использованных в расчетах имитационных
моделей динамики ВИЧ-инфекции принимаются без обсуждений. При
уточнении и расширении моделей предложенный подход остается
работоспособным.
Цель и задачи работы
Цель диссертационной работы состоит в расширении области применения
строгих вариационных методов теории управления на медицинскую
тематику. В качестве примера приводится исследование динамической
модели ВИЧ-инфекции с точки зрения теории оптимальных процессов.
При выполнении работы были поставлены следующие конкретные задачи:
1. Преобразовать исследуемую математическую модель ВИЧ-инфекции к
виду, позволяющему использовать методы теории оптимального
4
2.
3.
4.
5.
управления: привести модель в каноническую форму, выделить
управляющие переменные;
Сформировать
математические
критерии
качества
модели,
соответствующие медицинским критериям продолжительности жизни и
состояния человека;
Поставить задачу оптимизации иммунологии ВИЧ-инфекции;
Разработать на основе метода последовательных улучшений управления
алгоритм решения поставленных оптимизационных задач;
Построить с помощью предложенного алгоритма оптимальные
программы лечения ВИЧ-инфекции.
Научная новизна
В диссертационной работе математическими методами изучается
малоисследованный вопрос об учете резистентности вируса иммунодефицита
при выборе программ лечения инфекции. Использованный численный метод
оптимизации позволяет решить поставленные задачи оптимального
управления в точной постановке, без использования каких-либо
искусственных
предположений
и
упрощений,
неизбежных
при
аналитических исследованиях и решении задач подобной сложности.
Построенный алгоритм поиска оптимальных схем лечения, позволяет
выявить присутствующий в модели конфликт резистентной и
чувствительной популяций вируса, вмешаться в этот конфликт с помощью
управляющих переменных модели (химиотерапии) и использовать этот
конфликт для сохранения работоспособности моделируемой иммунной
системы.
Практическая ценность
Практическая ценность результатов диссертационной работы заключается
в том, что предлагаемые инструменты могут быть использованы:
1. Для прогнозирования процесса развития заболевания при различных
стратегиях лечения;
2. Для систем расчета индивидуальных программ лечения, легко
перестраиваемых и модифицируемых при изменениях в течении болезни
или появлении новых лекарственных препаратов;
3. Для построения систем экспресс-апробации разрабатываемых препаратов.
Компьютерная реализация модели способна в течение часов дать
предварительное заключение об их эффективности, подробностях
воздействия на организм и рекомендации по их использованию, на что в
сегодняшней практике уходят годы.
5
1.
2.
3.
4.
5.
6.
7.
На защиту выносятся:
Разработка оптимизационной управляемой модели динамики ВИЧинфекции;
Формирование
математических
критериев
качества
модели,
соответствующих медицинским критериям продолжительности жизни и
состояния человека;
Формирование математических оптимизационных критериев качества,
отражающих жизненные показания;
Формулировка оптимизационной задачи иммунологии ВИЧ-инфекции на
основе исследуемой модели;
Квантовый
локально-оптимальный
алгоритм
последовательных
улучшений управления;
Построение оптимальных схем применения противовирусных препаратов
при ВИЧ-инфекции;
Обоснование выбора начальных условий для моделирования и начальных
приближений для оптимизации;
Апробация работы и научные публикации
Результаты работы докладывались, обсуждались и получили одобрение
специалистов на следующих научных конференциях и семинарах:
1. XLII научная конференция МФТИ (Долгопрудный 1999);
2. Вторая международная конференция «Устойчивость и управление для
нелинейных трансформирующихся систем» (Москва, 2000);
3. Международная конференция «МАТЕМАТЕМАТИКА, ИНФОРМАТИКА
И УПРАВЛЕНИЕ» (МИУ, Иркутск, 2000);
4. XII конференция молодых ученых, (ИМАШ РАН, Москва, 2000);
5. I Евразийский конгресс по Медицинской физике и инженерии
"Медицинская физика-2001" (секция "Математические, компьютерные и
информационные технологии в медицине") (МГУ, Москва, 2001);
6. Научный семинар ИМАШ РАН под руководством академика К.В.Фролова
(Москва, 2003);
7. Научный семинар РАН по проблемам математической иммунологии под
руководством академика Г.И.Марчука, (Москва, 2005);
8. Научный семинар МГУ по вычислительным методам физики под
руководством профессора Ю.П.Пытьева, (Москва, 2005);
9. Научный семинар МГУ по математической теории интеллектуальных
систем под руководством профессора Кудрявцева В.Б., (Москва, 2005);
10.Научный семинар ВЦ РАН по вычислительной математике под
руководством члена-корреспондента РАН Ю.Г.Евтушенко, (Москва,
2006);
6
11.IX международная конференция "Интеллектуальные системы и
компьютерные науки", (Москва, 23-27 октября 2006);
12.Научные семинары кафедры системных исследований МФТИ (Москва,
2002-2007);
Публикации
По материалам диссертации опубликовано пять печатных работ, в том
числе две – в ведущих научных журналах, рекомендованных ВАК РФ.
Список работ приведен в конце автореферата.
Структура и объем диссертации
Диссертация изложена на 110 страницах, состоит из введения, пяти глав,
заключения и списка использованных источников, насчитывающего 78
наименований.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Введение содержит обоснование актуальности темы, формулировку целей
и задач исследования и характеристику методов, применяемых для их
решения. Обоснована новизна результатов диссертации и сформулированы
вынесенные на защиту положения.
Глава 1 «Математические методы в биологии и медицине» посвящена
обзору математических методов моделирования взаимодействия популяций,
а также математических методов теории управления применительно к
биологическим системам.
Глава 2 «Основные понятия иммунологии» содержит краткое описание
иммунной системы человека и ее взаимодействия с вирусом
иммунодефицита.
При попадании инородного вещества в организм человека иммунная
система производит иммунный ответ, подразделяющийся на две части:
клеточный иммунный ответ и гуморальный иммунный ответ. В первую
очередь, патоген сталкивается с макрофагами, клетками иммунной системы,
которые "добывают информацию" об инородных частицах. Результаты этих
исследований передаются CD4-положительным Т-лимфоцитам или Тклеткам.
Т-клетки подразделяются на два типа. Клетки первого типа, называемые
обычно Т-хелперами отвечают за принятие решения о начале первичного
иммунного ответа. Если Т-хелперы считают, что необходима реакция
иммунной системы, они начинают интенсивно размножаться, укрепляя
иммунную систему. При клеточном иммунном ответе в системе клонируются
7
Т-клетки второго типа, CD8-положительные Т-лимфоциты (CD8+T-клетки)
называемые Т-киллерами. Получив информацию о патогене, они стремятся
найти и уничтожить все инфицированные им клетки. При гуморальном
иммунном ответе (ответе антител) Т-хелперы возбуждают третий ряд клеток,
называемых B-лимфоцитами (B-клетки). Эти клетки крови производят так
называемые молекулы антител специфичные по отношению к конкретному
антигену и служащие только для его истребления.
Как и все вирусы, ВИЧ не обладает способностью самостоятельно
воспроизводиться - ему необходима помощь "клетки-хозяина". Вирусы несут
в себе копии своих ДНК (или, как в случае с ВИЧ - РНК) и вставляют их в
ДНК хозяев. Таким образом, когда клетка-хозяин стимулируется к
воспроизведению, она производит копии вируса.
Воспроизводство ВИЧ связано только с определенными клетками. Вирус
активно проникает в клетки, на поверхности которых находится рецептор
CD4, с которым он взаимодействует. Таким образом, внедряясь в организм,
ВИЧ прежде всего нацелен на CD4+Т-клетки. Кроме того, рецептор CD4
присутствует в клетках, циркулирующих в крови, лимфе и тканевой
жидкости. Именно то, что CD4+Т-клетки играют ключевую роль в
иммунном ответе, является основной причиной разрушительного действия
ВИЧ.
Во всем мире ведутся интенсивные исследования с целью обнаружить
эффективные лечебные средства против СПИДа. Основные направления этих
работ - поиск противовирусных препаратов, влияющих на ВИЧ в разные
стадии его размножения, и применение методов восстановления нарушенных
функций иммунитета.
Один из перспективных путей - изыскание препаратов, блокирующих
синтез обратной транскриптазы, под действием которой происходит
образование ДНК ВИЧ. Одним из первых стал химический препарат
азидотимидин (AZT). Считается, что химиотерапия увеличивает среднее
время выживания больных в далеко зашедшей стадии СПИДа примерно на
год. Однако азидотимидин токсичен – от него особенно страдает костный
мозг, что приводит к анемии. Большинство препаратов еще находится в
стадии клинических испытаний.
Эффективные противовирусные препараты получить возможно, но это
осложняется тем, что ВИЧ обладает очень большой изменчивостью. В одном
организме можно постоянно выделять новые разновидности вируса. ВИЧ
быстро приобретает лекарственную устойчивость, и эффективные ранее
препараты становятся бесполезными. В связи с этим возлагаются надежды на
одновременное применение нескольких противовирусных препаратов.
Глава 3. «Математические модели иммунологии ВИЧ» посвящена
описанию динамической модели развития ВИЧ-инфекции, построенной
8
американскими математиками Д.Е.Киршнер и Г.Ф. Веббом1. Эта
феноменологическая модель состоит из пяти дифференциальных уравнений,
записанных в нормальной форме Коши.
Фазовыми переменными системы (1) являются 5 переменных T, TS, Tr, VS,
Vr. Их содержание, а также основные механизмы взаимодействия описаны
ниже:
T – концентрация неинфицированных CD4+Т клеток (далее Т-клеток). Тклетки, играющие ключевую роль в работе иммунной системы человека во
время атаки вируса начинают интенсивно размножаться, укрепляя
иммунитет (этот эффект учтен в четвертом члене первого уравнения,
dT (t )
S 2V (t )
1
 S1 
 T T (t ) 
T (t )V (t )  (1 (t ) k SVS (t )  k rVr (t ))T (t )
dt
BS  V (t )
C  V (t )
dTS (t )
2
 1 (t ) k SVS (t )T (t )  TiTS (t ) 
TS (t )V (t )
dt
Ci  V (t )
dTr (t )
2
 krVr (t )T (t )  TiTr (t ) 
Tr (t )V (t )
dt
Ci  V (t )
(1)
dVS (t )
3
GSVS
 (1  q )
TS (t )V (t )  kV T (t )VS (t )   2 (t )
dt
Ci  V (t )
B  V (t )
3
3
dVr (t )
Vr (t )

Tr (t )V (t )  q
TS (t )V (t )  kV T (t )Vr (t )  Gr (V (t ))
dt
Ci  V (t )
Ci  V (t )
B  V (t )
который показывает рост концентрации Т-клеток в присутствии вируса).
Уровень концентрации T-клеток служит основным показателем
работоспособности иммунной системы.
Фазовые переменные TS и Tr описывают популяции инфицированных Tклеток:
TS - концентрация Т-клеток, инфицированных вирусом иммунодефицита
VS, чувствительного к воздействию лекарственных препаратов;
Tr - концентрация Т-клеток, инфицированных вирусом иммунодефицита Vr,
резистентного к химиотерапии.
Особенностью вируса иммунодефицита является его способность к
мутации. Под действием химиотерапии вирус вырабатывает защитные
механизмы, парирующие воздействие лекарственных препаратов. Этот
эффект называется резистентностью, а появляющийся в результате мутации
вирус – резистентным. Рассматриваемая в модели популяция вируса
иммунодефицита V подразделяется на два класса:
VS - концентрация ВИЧ, чувствительного к воздействию лекарственных
препаратов;
Vr - концентрация ВИЧ, резистентного к химиотерапии;
1
Webb G.F., Kirschner D.E. Resistance, Remission, and Qualitative Differences in HIV Chemotherapy // Emerging
Infectious Diseases, 1997, V.3, №3
9
V(t) = VS(t) + Vr(t) - общая популяция вируса в момент времени t.
Инфицирование Т-клеток и их переход из популяции T в популяции TS и Tr
описывается последним членом первого уравнения и первыми членами
второго и третьего уравнений модели (1).
Уничтожение инфицированных Т-клеток TS и Tr из-за присутствия в них
вируса описывается третьими членами второго и третьего уравнений
системы (1). Вместе с тем, инфицированные Т-клетки выбрасывают в
систему новые копии вируса, что учитывается положительными первыми
членами четвертого и пятого уравнений модели.
Предполагается, что Т-клетки, инфицированные резистентным вирусом,
выбрасывают в систему только копии резистентного вируса (что отражено в
третьем члене третьего уравнения системы (1) и первом члене пятого
уравнения). Однако Т-клетки, инфицированные чувствительным вирусом,
могут производить как копии чувствительного, так и резистентного вируса
(третий член второго уравнения, первый член четвертого и второй член
пятого уравнений системы (1)). Способность вируса к мутации определяется
параметром q.
Также авторами модели предполагается, что резистентный вирус начинает
поступать в систему из внешнего лимфоидного источника (последний член
пятого уравнения) только после того, как общая популяция вируса достигнет
определенной пороговой концентрации. Биологически это означает, что при
достаточно большой концентрации вируса в крови информация о защите от
лекарственных препаратов передается в лимфоидную систему, где
чувствительный вирус также начинает замещаться резистентным. В системе
уравнений (1) этот эффект описывается разрывной функцией Gr:
 0, при V  V0
Gr (V )  
GS , при V  V0
(2)
Функции лечения 1(t) и 2(t), описывающие воздействие на систему двух
лечебных препаратов, задаются функциями времени
1(t) = exp(-c1(t-t0)), 2(t) = max{exp(-c2(t-t0)), c3}
(3)
На рис. 1 и 2 представлены результаты численного интегрирования
уравнений модели (1), отражающие течение болезни в отсутствие лечения и
при постоянном лечении соответственно. Эти режимы получены при
значениях функций лечения 1(t)  1, 2(t)  1 в первом случае и функциями
лечения (3) во втором. Интегрирование проводилось на отрезке времени
равном 3500 дней и с начальными условиями: Т(0) = 600 ед/мм3, Ts(0) = 0
ед/мм3, Tr(0) = 0 ед/мм3, Vs(0) = 10 ед/мм3, Vr(0) = 0 ед/мм3.
Проведенные расчеты для модели (1) при одинаковых начальных условиях
показали точное совпадение с расчетами авторов модели. Этот факт служит
дополнительным критерием корректности вычислительной работы с
моделью.
10
Рис. 1. Динамика
отсутствие лечения
ВИЧ-инфекции
в Рис. 2. Динамика ВИЧ-инфекции при
постоянном лечении
Графики рис. 1, 2 согласуются с результатами клинических исследований
ВИЧ. После периода острой инфекции в течение первых нескольких недель
количество T-клеток постепенно падает с 600-800 ед/мм3 до нуля за период
времени, равный примерно 9-10 годам (количество Т-клеток здорового
человека изменяется в пределах 800-1000 ед/мм3).
Рис. 3. Динамика ВИЧ инфекции при постоянном лечении в течение 100 дней.
Сравнение рис. 1 с рис. 2 показывает, что отличаются они фактически
только кратким интервалом бурной динамики рис. 3, после которого лечение
на модифицировавшийся резистентный вирус перестает действовать. В
результате непрерывное применение химиотерапии в течение почти 10 лет
отдаляет последнюю, ведущую к летальному исходу стадию ВИЧ-инфекции
(получившую название СПИД и условно характеризуемую переходом
концентрации Т-клеток через границу 200 ед/мм3) всего на 66 дней.
Глава 4. «Формирование управляемой модели и алгоритм
оптимизации» посвящена приведению модели (1) к каноническому виду
управляемой системы и разработке алгоритма оптимизации.
Приведенные выше результаты моделирования предельных режимов – без
применения и с применением химиотерапии - указывают на предельно
высокую сопротивляемость вируса воздействию лекарственных средств.
11
Существование программ лечения, лучших, чем с непрерывным лечением, не
выглядит очевидным, и исследовать этот вопрос можно только путем
численных экспериментов с моделью. Если считать программу лечения
больного в течение 3500 дней только первым, начальным приближением,
которое все же позволяет продлить жизнь больному хотя бы на 100 дней, то
возникает вопрос: нельзя ли найти другие, лучшие программы лечения, при
которых успех окажется бОльшим? Этот вопрос ведет к постановке задачи
оптимизации процесса лечения, со всеми сопутствующими атрибутами:
формализацией критериев качества, выделением управляющих переменных,
обсуждением ограничений и поиском подходящих численных методов
оптимизации.
Выделение управляющих переменных модели. Будем рассматривать
процессы лечения, включающие чередование интервалов введения лекарств с
интервалами отдыха от этих препаратов. Для описания таких релейных
процессов функции 1(t) и 2(t) (3) необходимо модифицировать. Наряду с
усилением защитных функций организма под воздействием лекарственных
препаратов здесь необходимо описать эффект ослабления этих функций при
прекращении введения лекарств. Возникает определенная динамика
изменения во времени функций 1(t) и 2(t), одна из характеристик которой
отражена в формулах (3). Модифицированная динамика функций 1(t) и 2(t),
сохраняющая определяемые параметрами c1 , c2 и c3 характеристики
динамики функций (3) и в то же время отражающая релейный характер
процесса лечения, может быть описана дифференциальными уравнениями
d1(t) / dt = c1 [1– 1(t) – u1],
1(0) = 1,
(4)
-1
d2(t) / dt = c2 (1  c3) [1– 2(t) + u2(c3 – 1)], 2 (0) = 1,
Здесь u1 и u2 – управляющие переменные, работающие по следующему
правилу: в интервалах приема лекарств u1 = 1, u2 = 1, в интервалах отмены
лекарств u1 = 0, u2 = 0. Для интервалов приема лекарств решениями
дифференциальных уравнений (4) являются функции (3). Уравнения (4)
выведены в тех предположениях, что скорости убывания функций 1(t) и
2(t) при приеме лекарств и скорости их роста при отмене лекарств, вблизи
области интенсивного изменения этих функций, равны. Действительно,
положив u1 = 1, u2 = 1, получим уравнения, эквивалентные (3). При отмене
лекарств (u1 = 0, u2 = 0) значения функций 1(t) и 2(t) стремятся с
увеличением времени к своим первоначальным значениям 1 = 1 и 2 = 1 (3),
причем производные по времени c1 и c2 этих функций в состояниях,
максимально удаленных от равновесных (при 1 = 0 и 2 = c3), равны с
обратным знаком их производным в уравнениях (3), описывающих прием
лекарств.
В результате введения новых управляющих функций управляемая модель
динамики ВИЧ-инфекции состоит теперь из семи уравнений (1), (4) и
12
содержит пять прежних фазовых переменных T, TS, Tr, VS, Vr, две новых
фазовых переменных 1 и 2 и две управляющие переменные u1 и u2.
Формирование канонической управляемой системы. Рассмотрим
управляемую динамическую систему, заданную 7-мерной системой
дифференциальных уравнений (1), (4). Показатель качества системы будем
считать заданным в виде:
J = Ф[xк(tк), tк]  max
(5)
Конечный момент времени tк определим из условия достижения правым
концом {xк(tк), tк} траектории системы (1), (4) гиперповерхности M, заданной
уравнением:
M(x, t) = 0
(6)
Алгоритм определения оптимального управления u(t) доставляющего
максимум функционалу (5) на решениях системы (1), (4) состоит в
следующем:
Вводится 7-мерный вектор сопряженных к фазовым координатам системы
(1), (4) переменных
p(t) = { pT, pTS, pTr, pVS, pVr, p1, p2}
(7)
записывается функция Гамильтона-Понтрягина
H (T , TS , Tr , VS , Vr ,1 , 2 , pT , pTS , pTr , pVS , pVr , p 1 , p 2 , u1 , u 2 , t ) 
 pT [ S1 
S 2V (t )
1
 T T (t ) 
T (t )V (t ) 
BS  V (t )
C  V (t )
 (1 (t ) k SVS (t )  krVr (t ))T (t )] 
 pTS [1 (t ) k SVS (t )T (t )  TiTS (t ) 
 pTr [ k rVr (t )T (t )  TiTr (t ) 
 pVS [(1  q )
 pVr [
3
Ci  V (t )
3
Ci  V (t )
2
Ci  V (t )
2
Ci  V (t )
TS (t )V (t )] 
Tr (t )V (t )] 
TS (t )V (t )  kV T (t )VS (t )   2 (t )
Tr (t )V (t )  q
3
Ci  V (t )
(8)
GSVS (t )
]
B  V (t )
TS (t )V (t )  kV T (t )Vr (t ) 
 Gr (V (t ))
Vr (t )
]
B  V (t )
c2
 p 1[c1 (1  1 (t )  u1 )]  p 2 [
(1   2 (t )  u2 (c3  1))]
1  c3
и соответствующая ей
сопряженных переменных
система
дифференциальных
dp
H ( x, p, u , t )

dt
x
уравнений
для
(9)
13
Метод численного решения позволяет решить задачу максимизации (5)
путем последовательного увеличения значений функционала J. Алгоритм
целенаправленно изменяет управляющие функции u1(t), u2(t), используя
информацию, получаемую путем совместного решения систем уравнений (1),
(4) и (9). При этом фазовые переменные уравнений (1), (4) удовлетворяют
начальным условиям, заданным на левом конце траектории, а уравнения для
сопряженных переменных (9) – условиям трансверсальности, т.е. граничным
условиям на правом конце траектории, определяемым функционалом
поставленной задачи.
Правая часть уравнений (1) в силу разрывности функции Gr(V) (2) терпит
разрыв по фазовым координатам при переходе через гиперповерхность
 (VS ,Vr ) = VS + Vr - V0 = 0
(10)
Поэтому вектор-функция сопряженных переменных (1) при переходе
траектории систем уравнений (1), (4), (9) через гиперповерхность (10)
удовлетворяет условию скачка:
pVS (t  0)  pVS (t  0) 

 pVS (t  0) 
VS

pVr (t  0)  pVr (t  0) 
 pVr (t  0) 
Vr
(11)
Коэффициент скачка  определяется здесь выражением


fVS и
Vr (t )
sign[VS (t  0)  Vr (t  0)  V0 ]
B  V (t )


fVS [( x(t ), u (t ), t ])  fVr [( x(t ), u (t ), t ])
pVr (t  0)GS
(12)

– правые части четвертого и пятого уравнений (1) слева от
гиперповерхности (10).
fVr
Формула для приращения функционала. Последовательное улучшение
управления осуществляется с помощью формулы для приращения
функционала. Для рассматриваемой конкретной задачи эта формула строится
следующим образом.
При заданных функциях управления u1= u1(t), u2= u2(t) решается задача
Коши для системы (1), (4) с заданными начальными условиями. Таким
образом, определяется ее траектория
x(t) = { T(t), TS(t), Tr(t), VS(t), Vr(t) , 1(t), 2(t) },
tн  t  tк , (13)
и, в конце траектории, на гиперповерхности (6), значение функционала (5)
J [u1(t), u2(t)]
(14)
При измененных функциях управления, которые обозначим через u1и= u1(t) +
 u1(t), u2и= u2(t) +  u2(t), функционал (5) принимает значение
J [u1(t) +  u1(t), u2(t) +  u2(t)]
(15)
Разность между значениями функционала (15) и (14)
14
J = J [u1(t) +  u1(t), u2(t) +  u2(t)] - J [u1(t), u2(t)]
(16)
вычисляется с помощью уравнений для сопряженных переменных (9)-(12).
Подставляя исходное управление u1= u1(t), u2= u2(t) и соответствующую
ему траекторию (13) в правую часть системы уравнений для сопряженных
уравнений (9), интегрируем ее с учетом условий трансверсальности и
условий скачка (11) в обращенном времени и вычисляем вектор-функцию
сопряженных переменных
p(t) = { pT(t), pTS(t), pTr(t), pVS(t), pVr(t), p1(t), p2 (t)}, tк  t  tн
(17)
С помощью вычисленных вектор-функций (13) и (17) изменение
функционала (16) в рассматриваемой задаче определяется формулой
J = J1 + J2 + о[J1, J2],
(18)
где
tк
tк
J 1    c1 p1 (t ) u1 (t )dt , J 2    c2 p 2 (t ) u 2 (t )dt
(19)
t
t
н
н
и о[J1, J2] – погрешность, определяемая величиной более высокого
порядка малости, чем J1 и J2 .
Для нелинейной системы уравнений (1), (4) метод последовательных
улучшений управления гарантирует успех при выполнении двух условий: 1)
траектория на текущей итерации не является экстремалью и 2) изменение
управляющих переменных достаточно мало.
Для рассматриваемых ниже задач выполнение первого условия
определяется
возможностью
улучшить
значение
функционала,
невозможность выполнить это условие, при корректности всех процедур
алгоритма, является критерием для остановки итерационного процесса
улучшений управления. Выполнение второго условия, определяющего
превышение значащих членов формулы (18) над ее погрешностью,
определяется экспериментально, путем пробных вычислений изменений
функционала (16) с помощью формулы (18).
Квантовый локально-оптимальный алгоритм последовательных
улучшений управления Эффективное использование формулы (18) требует
рационально распорядиться как выбором величины изменений управления,
так и локализацией этих изменений. В конструируемом алгоритме малость
изменений управлений обеспечивалась их локализацией на малых
интервалах времени
t1, t2 , так что величины изменений J1 и J2
оказываются пропорциональными квантам управления
U1 = u1t1 , U2 = u2t2
(20)
Формулы (19) при подстановке в них квантов управления (20) принимают
вид
J1 = - c1 p1 (t1)U1 , J2 = - c2 p2 (t2)U2
(21)
15
Рис. 4. Кванты
приближений.
изменений
управления
в
алгоритме
последовательных
Формула (20) показывает, что величины приращений J1 и J2 при
фиксированных значениях квантов (20) определяются значением функций p1
(t) и p2(t) в моменты времени t1 и t2 введения в управление квантов
управления (20). При этом эти моменты времени следует выбрать из условия
(22)
J1  max[c1 p1 (t )U1 ] , J 2  max[c2 p 2 (t )U 2 ]
t1
Введем следующие обозначения:
Q1  max [c1 p1 (t )(2u1 (t )  1)]
t[ tн , tк ]
t2
t1  arg max [c1 p1 (t )(2u1 (t )  1)]
t[ tн , tк ]
Q2  max [c2 p2 (t )(2u2 (t )  1)] t2  arg max [c2 p2 (t )(2u2 (t )  1)]
t[ tн , tк ]
t[ tн , tк ]
С учетом того, что кванты управления (14), в зависимости от текущих
значений исходных управлений u1(t) и u2(t) могут принимать положительные
и отрицательные значения (см. рис. 6), кванты управлений, обеспечивающие
выполнение условий (15), определяются формулами
[1  2u1 (t1 )]t1 , если Q1  0
U1  
0, в противном случае
[1  2u2 (t2 )]t 2 , если Q2  0
U 2  
 0, в противном случае
(23)
Вычислительные эксперименты показали, что для регулярной сходимости
итераций улучшения управления кванты управления (20) должны
удовлетворять неравенствам |U1|  1/5 , |U2|  1/5. Величина t1,2 = 1/5
выбрана в связи с этим шагом интегрирования систем уравнений (1.1) и (3)
методом Рунге-Кутта 4-го порядка.
С точки зрения итерационного улучшения программы лечения, алгоритм
(23) означает, что на каждой итерации для каждой 1/5 части дня принимается
решение о выборе одной из трех альтернатив для каждого препарата: 1) не
изменять назначения; 2) назначить прием препарата; 3) отменить прием
препарата.
Глава 5 «Оптимальные программы лечения» посвящена формированию
оптимизационных критериев качества, отражающих физику модели,
16
постановке оптимизационных задач и применению предложенного в Главе 4
алгоритма к решению поставленных задач.
Задача о достижении максимальной концентрации Т-клеток на
момент окончания лечения. Качество иммунной системы в численном
выражении определяется концентрацией T-клеток. Поэтому естественно
стремиться получить наибольшее значение этой концентрации в конце
интервала
управления, в терминальный момент времени tк.
Формализованным критерием качества для системы (1), (4) является в этом
случае терминальный функционал J = T(tк), и задача состоит в его
максимизации
J = T(tк)  max
(24)
Для решения задачи используем описанный в предыдущей главе алгоритм.
Результаты решения представлены на рис. 5 и 6. Начальные условия здесь и
для последующих режимов взяты теми же, что и для рис. 1 и 2, что позволяет
провести сравнение различных программ лечения.
Начальные условия для фазовых переменных модели: Т(0) = 600 ед/мм3,
Ts(0) = 0 ед/мм3, Tr(0) = 0 ед/мм3, Vs(0) = 10 ед/мм3, Vr(0) = 0 ед/мм3, 1(t) =
2(t) =1
Условия на правом конце для сопряженных переменных:
pT (3500)  1, pTS (3500)  pTr (3500)  pVS (3500)  pVr (3500)  p1 (3500)  p2 (3500)  0
В верхних окнах рисунков показаны графики изменения концентраций Тклеток в программах лечения, найденных в процессе решения задачи
оптимизации, в сравнении с графиками начальных приближений. Метод
решения не дает гарантии оптимальности получаемых решений (гарантирует
только достижение локального экстремума и выполнение для решений
необходимых условий оптимальности). Поэтому решения проводились с
различными начальными приближениями. Для рис. 5 в качестве начального
приближения выбрана программа непрерывного приема препаратов в
течение всего времени лечения: u1 ≡ 1, u2 ≡ 1. Для рис. 6 выбран случай
полного отсутствия лечения: u1 ≡ 0, u2 ≡ 0.
Во вторых окнах показаны графики изменения концентраций
чувствительного и резистентного вируса в экстремальных программах
лечения.
В третьем и четвертом окнах показаны графики изменений интенсивностей
лечения u1(t), u2(t) первым и вторым препаратами.
17
Рис. 5. Результат оптимизации для
Рис. 6. Результат оптимизации для
режима постоянного лечения взятого за режима без лечения взятого за начальное
начальное приближение
приближение
Существенная нелинейность системы уравнений (1), (4) приводит к
необходимости выбора интервала изменений управления в области
максимального влияния управления на изменение функционала. Это диктует
выбор «игольчатых» вариаций управления. В расчетах в качестве таких
вариаций на интервале функционирования системы 3500 дней в результате
численных экспериментов выбраны ступенчатые изменения управления на
интервалах величины 0,2 суток. Такой выбор удовлетворяет условиям
компромисса: это "достаточно малое" изменение управления гарантирует
сходимость метода для всех рассматривавшихся режимов; этот же интервал
0,2 суток, использованный в качестве шага численного интегрирования
методом Рунге-Кутта 4-го порядка для всех систем дифференциальных
18
уравнений метода, "достаточно велик", чтобы не привести к существенной
потере точности за счет округления.
Общее число итераций при поиске обсуждаемых решений составляет 2-7
тысяч.
В результате итоговые решения представляют собой математические
описания сложных релейных режимов с тысячами переключений. Для
наглядности графики релейных режимов переведены в эквивалентные по
количеству
назначаемых
лекарственных
препаратов
графики
интенсивностей, полученные недельным осреднением. В итоге графики 3-го
и 4-го окон показывают относительные количества препаратов, которые
следует назначать в текущую неделю. Вычислительный эксперимент
показал, что подстановка в уравнения (1) в качестве функций лечения 1(t) и
2(t) недельных осреднений экстремальных графиков 1(t) и 2(t) приводит к
результатам, мало отличающимся от приведенных на рис. 5 и 6 (графики
неразличимы).
Результаты расчетов показали, что значение терминального функционала
(24) на экстремальном решении, полученном из начального приближения с
постоянным лечением (рис. 6), хуже, чем для экстремального решения с
начальным приближением без лечения (рис. 7). Это не означает, что решение
рис. 6 оптимально, вместе с тем все вычисленные решения с другими
начальными приближениями либо повторили решение рис. 7, либо дали
худшие результаты.
Задача о поддержании уровня концентрации Т-клеток.
Рассмотренные задачи оптимизации с терминальным функционалом дают
хороший результат концентрации Т-лимфоцитов в конце траектории. Вместе
с тем графики концентрации Т-лимфоцитов на рис. 5 и 6 не монотонны и
имеют провалы в середине интервала, что означает ослабление иммунной
системы в процессе лечения. Это нежелательно с точки зрения
предохранения больного от сопутствующих заболеваний. В связи с этим
возникает задача построения критерия качества, ограничивающего снизу
значения концентрации Т-лимфоцитов на всем интервале лечения.
Рассмотрим задачу
J = ∫Ф(t)dt min,
(25)
где
Ф(t) = [А - T(t)]2 при T(t) < А и Ф(t) = 0 при T(t) ≥ А
и А - константа, которая подбирается в процессе решения задачи
оптимизации. Функционал (25) накладывает штраф на значения T(t),
опускающиеся ниже границы А. Задача состоит в минимизации функционала
(25) в момент времени, когда система достигнет гиперповерхности t – 3500 =
0.
Решение этой задачи требует увеличения размерности пространства
фазовых переменных на единицу. К модели (1), (4) добавляется
19
вспомогательное дифференциальное уравнение, описывающее динамику
дополнительной фазовой переменной x8:
x8  
Также вводится восьмая сопряженная переменная pФ и система (9)
дополняется дифференциальным уравнением:
p  0
Начальные условия для фазовых переменных модели: Т(0) = 600 ед/мм3,
Ts(0) = 0 ед/мм3, Tr(0) = 0 ед/мм3, Vs(0) = 10 ед/мм3, Vr(0) = 0 ед/мм3, 1(t) =
2(t) =1, x8 = 0.
Условия на правом конце для сопряженных переменных:
pT (3500)  pTS (3500)  pTr (3500)  pVS (3500)  pVr (3500)  p1 (3500)  p2 (3500)  0, p  1
Результаты решения при тех же начальных условиях, что и для
предыдущих программ, при начальном приближении «без лечения» и при
значении А = 430 ед/мм3 представлены на рис. 7. В этом случае значение
функционала (26) на полученном решении равно 0, в то время как при
большем значении А = 435 ед/мм3 экстремальное значение функционала (25)
оказывается положительным. Требуемое условие ограничения значения
концентрации Т-лимфоцитов снизу на всем интервале лечения на
полученном решении оказывается выполненным.
Задача о максимальном продлении жизни.
Целью медицины является продление жизни больного. При постановке
математической задачи требуется найти количественные характеристики
состояния здоровья, позволяющие эту цель сформулировать в
количественном выражении. В случае ВИЧ-инфекции таким характерным
количественным показателем является концентрация T-клеток в крови.
Специалисты выделяют три категории тяжести заболевания, определяемые
уровнем концентрации T-клеток в крови: 1) более 500 ед/мм3; 2) от 200
ед/мм3 до 500 ед/мм3; 3) менее 200 ед/мм3.
У больных третьей категории развивается т.н. синдром приобретенного
иммунодефицита (СПИД), заканчивающийся летальным исходом. Это
нижнее значение концентрации Т-клеток является естественной границей
исследуемых процессов в иммунной системе. В математической постановке
это означает, что в 7-мерном фазовом пространстве системы (1), (4) следует
рассматривать ее траектории, заканчивающиеся на гиперповерхности
Т(t) – Т* = 0, Т* = 200 ед/мм3
(26)
Задача продления жизни больного состоит в том, чтобы иммунная система
достигала границы (26) как можно позднее. В формализованной постановке
это означает, что функционалом J (критерием качества) в задаче
оптимизации лечения должен быть назначен момент времени
20
J [u1(t), u2(t)] = tк = { t | Т(t) = Т*}
(27)
в который траектория системы (4), (9) впервые достигает гиперповерхности
(26).
Численному алгоритму, таким образом, должно быть поручено из всех
таких функций, ограниченных условиями u1(t)  {0, 1}, u2(t)  {0, 1} t 
[tн,tк], выбрать такие, при которых функционал (28) принимает максимальное
значение
(28)
J [u1 (t), u 2 (t)]  tк  {t | T (t )  T *}  max
u1 ( t ), u2 ( t )
Начальные условия для фазовых переменных модели: Т(0) = 600 ед/мм3,
Ts(0) = 0 ед/мм3, Tr(0) = 0 ед/мм3, Vs(0) = 10 ед/мм3, Vr(0) = 0 ед/мм3, 1(t) =
2(t) =1, x8 = 0.
Условия на правом конце для сопряженных переменных:
pT (tк )  (
dT
dt
t  tк
) 1 , pTS (tк )  pTr (tк )  pVS (tк )  pVr (tк )  p1 (tк )  p2 (t к )  0
Результаты оптимизации для режима без лечения, выбранного в качестве
начального приближения приведены на рис. 8.
Сравнение программ лечения
Количественные оценки обсуждаемых программ лечения приведены в
таблице 1. Численные данные, полученные математическими методами,
здесь переведены на язык медицинских критериев эффективности лечения,
среди которых главным является продолжительность жизни больного.
Таблица 1. Сравнительные данные программ лечения
Программа Объем
лечения и
первого
ее графики препарата
Объем
второго
препарата
T(tк)
V(tк)
Tmin
Время
наступления
СПИДа
1. Рис. 1
0
0
0,24
10022
0,24
2864 день
2. Рис. 2
3500
3500
0,24
8138
0,24
2931
3. Рис. 5
2682,4
2500,4
282
23,2
282
3998*
4. Рис. 6
180,2
0
560
9,3
336
6270*
5. Рис. 7
200,2
23,6
430
14,9
430
5548*
6 Рис. 8
229.2
21
200
34
200
8530
* - Кривые рис 5-7 продолжены вправо за момент времени t=3500 при
условии 1(t) = 2(t) =1 до пересечения с гиперповерхностью (26)
21
Рис. 7. Экстремальное решение задачи о
Рис. 8. Экстремальное решение задачи о
поддержании
концентрации
Т-клеток максимальном продлении жизни для
выше уровня A = 430 ед/мм3 для режима режима без лечения взятого за начальное
постоянного лечения взятого за начальное приближение
приближение
Выше отмечалось, что непрерывная химиотерапия в течение почти десяти
лет (строка 2 таблицы 1) отодвигает переход инфекции в стадию СПИДа
всего на 2-3 месяца по сравнению с отсутствием лечения (строка 1).
Экстремальные программы лечения, вычисленные путем решения задач
оптимизации, дают значительно больший эффект. Анализ таблицы 1
показывает, что время продления жизни больного при рациональном лечении
инфекции может составить уже не месяцы, как это было в случае с
программой постоянного лечения, а годы.
Еще одним резервом в проблеме продления жизни больного является
возможность смены лечебных препаратов для подавления модификации
вируса, резистентного к уже использованным. Например, рис. 6 показывает,
22
что в результате лечения иммунная система практически возвращается в
исходное состояние, а концентрация вируса также принимает значение,
близкое к начальному, однако вирус выступает здесь в модифицированной и
уже неподдающейся использованным препаратам форме.
Этот резерв требует расширения используемых математических методов –
перехода от решения тактических задач оптимизации к стратегическим
задачам рациональной и оптимальной смены политик лечения.
Таким образом, предложенный в работе численный метод оптимизации
позволяет решать задачи, возникающие при исследовании сложной динамики
взаимодействия иммунной системы с вирусными инфекциями в точной
постановке. По существу для выбранной упрощенной модели ВИЧ-инфекции
построен компьютерный синтез управления, позволяющего в разы продлить
жизнь больного. При этом алгоритм построения оптимальных программ
лечения, вообще говоря, не зависит от сложности модели. Это означает, что в
случае создания медицински достоверной модели любого инфекционного
заболевания, предложенный подход к построению оптимальных программ
лечения позволит создать «электронный помощник врача», могущий как
давать рекомендации по индивидуальному лечению больного, так и работать
с больным автономно, если врач по каким-то причинам недоступен. Кроме
того, рассмотренный в работе метод может быть положен в основу системы
экспресс-апробации
новых
лекарственных
препаратов,
поскольку
компьютерная
реализация
модели
способна
оперативно
дать
предварительное заключение об их эффективности, подробностях
воздействия на организм и рекомендации по их применению.
В заключении изложены основные результаты диссертации.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ
1. На базе исходной динамической модели взаимодействия иммунной
системы человека с вирусом иммунодефицита построена управляемая
модель, допускающая постановку и решение задач теории управления.
Расширено пространство фазовых переменных модели, выделены
управляющие переменные. Модель приведена к канонической форме
управляемой системы.
2. Сформированы
математические
критерии
качества
модели,
соответствующие медицинским критериям продолжительности жизни и
состояния человека. Поставлены задачи оптимизации иммунологии
ВИЧ-инфекции;
3. На основе классического метода последовательных улучшений
управления с учетом специфики поставленных задач разработан
квантовый локально-оптимальный алгоритм построения оптимальной
схемы применения противовирусных препаратов при ВИЧ-инфекции;
23
4. С помощью предложенного алгоритма решен ряд поставленных в
работе оптимизационных задач. Обоснован выбор начальных условий и
начальных приближений.
Список работ, опубликованных автором по теме диссертации:
1. Величенко В.В., Притыкин Д.А. Нелинейные процессы динамики
СПИДа. Математические методы оптимизации стратегий лечения //
Устойчивость и управление для нелинейных трансформирующихся
систем: Труды второй международной конференции/ М., - 2000. - С. 88.
2. Величенко В.В., Притыкин Д.А. Социология, информатика и динамика
ВИЧ-инфицированной системы человека и оптимальные стратегии
лечения // Труды XII Байкальской международной конференции. Том 6.
Иркутск - 2001. С. 110-117.
3. Притыкин Д.А. Управление динамикой взаимодействия иммунной
системы человека с ВИЧ // Некоторые проблемы фундаментальной и
прикладной математики, Сборник научных трудов. М., - 2003. - С. 7894.
4. Величенко В.В., Притыкин Д.А. Управление лечением СПИДа //
Автоматика и телемеханика. 2006, №3, с.166-185.
5. Величенко В.В., Притыкин Д.А. Численные методы оптимального
управления динамикой ВИЧ-инфекции // Известия РАН. Теория и
системы управления. 2006. №6, с. 53-64.
В работах, выполненных в соавторстве, личный вклад автора состоит в
следующем: участие в разработке ключевых идей, формирование и
реализация управляемой модели иммунологии ВИЧ, разработка квантового
локально-оптимального
алгоритма
последовательных
улучшений
управления, решение задач оптимального управления.
24