Синтез оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и логистическому закону

Диссертация посвящена вопросам построения синтеза оптимального управления в математических моделях химиотерапии опухоли при различных законах роста числа злокачественных клеток (закон Гомперца и обобщенный логистический закон).

Злокачественная опухоль вызывает неконтролируемый или слабокон-тролируемый рост огромного числа клеток, которые способны проникать в прилежащие ткани и повреждать их, а также перемещаться с током крови и лимфы в другие органы и порождать там новые очаги опухолевого роста. Все опухоли можно разделить на две большие группы. К первой относят твердые опухоли (solid tumor), такие как рак груди, легких, печени, предстательной железы, поджелудочной железы, толстой кишки. Больные клетки формируются в некотором месте организма человека. Раковая опухоль разрастается неконтролируемым образом и дает метастазы в другие органы. Ко второй группе относят рассредоточенные или рассеянные раковые опухоли (dispersed or disseminated tumor), такие как лейкоз, миелома и др. В этом случае злокачественные клетки могут возникать из кроветворных клеток костного мозга, разрастаться и занимать место здоровых клеток в мозге, периферической крови и других органах кровеносной системы. В диссертации исследуются математические модели роста опухолей, относящиеся к первой группе.

В настоящее время разработаны многочисленные математические модели роста твердой опухоли: модель роста некровоснабжаемой (несосудистой) опухоли (avascular tumor) [24, 25, 45], модель ангиогенеза (развития сосудов) [29, 37, 46], модель роста кровоснабжаемой опухоли (vascular tumor) [31].

В работе рассматриваются пространственно-однородные математические модели роста твердой некровоснабжаемой опухоли. Описание пространственно — неоднородных моделей некровоснабжаемой опухоли можно найти в [27], обзор математических моделей рассеянной опухоли содержится в [23, 49].

В пространственно-однородных моделях твердой несосудистой опухоли, как правило, рассматривают полный объем опухоли или общее число клеток. Для описания роста, в основном, используются обыкновенные дифференциальные уравнения, либо уравнения в частных производных, хотя имеется и достаточно большое количество моделей, основанных на вероятностном подходе и методах имитационного моделирования [35, 41]. Для оценки параметров используются реальные эксперименты как in vitro, так и in vivo. Таким же опытным путем оценивается эффективность стратегии терапии (постоянное использование лекарств или периодическое вливание).

В настоящее время имеется большое число математических моделей, описывающих рост многоклеточного опухолевого сфероида [24]. Опытные наблюдения свидетельствуют, что увеличение опухоли в размере сопровождается процессами, ограничивающими ее рост. Это связано с тем, что возникает конкуренция за питательное вещество и другие жизненные источники, например, пространство. Процесс роста протекает в три фазы: экспоненциальный рост, линейный и, наконец, выход на плато. В [38] был проведен сравнительный анализ данных развития опухоли in vitro и in vivo с моделью «universal law». При выводе модели были обезразмерены переменные массы опухоли и время роста t ([50]) и для новых переменных гит закон «universal law» представляется уравнением г = 1 — е~т. Для анализа использовались данные литературы, содержащие результаты роста опухоли in vitro и in vivo для животных и человека. Полученные результаты подтвердили предположение о том, что разрастание опухоли подчиняется описанному закону. На рис. 1, 2 приведены кривые роста опухолей, построенные по экспериментальным данным.

A breast ¦ prostateiniversal law.

Рис. 1: Кривые роста опухолей in vivo (опухоли груди и предстательной железы больных) в сравнении с законом «universal law».

Диссертация посвящена моделям, в которых для описания роста опухолевого сфероида используются закон Гомперца и обобщенный логистический закон [30, 40, 45]. Обозначаем через m (t) — количество клеток опухоли в момент времени t. Тогда без учета внешних воздействий динамика роста числа клеток опухоли определяется уравнением Гомперца din = rm{t) — Omit) In m (t), m (0) = m0 > 0, r, 9 — const > 0 (1).

Jib или частным случаем обобщенного логистического уравнения dm ~dt rm (t).

1 m (0) = m0 > 0, r, 9, /3 — const > 0. (2).

Закон Гомперца (1) выражает следующие связи между параметрами г, 9 и особенностями кривой роста [42]:

Постоянные г > 0 и 9 > 0 характеризуют скорости роста клеток и его замедления соответственно.

Решение задачи Коши (1) представляется в виде m (t) = mf’e^-*-").

Рис. 2: Кривые роста сфероидов in vitro (gliosarkoma (9L), glioblastoma (U118), другая glioblastoma (SNB19)) в сравнении с законом «universal law».

Решение имеет предельное значение при t —> сю, равное rrioo = еК.

Точка перегиба графика означает, что рост опухоли замедляется, когда достигнута его максимальная скорость, что с биологической точки зрения всегда происходит вследствие внешних факторов и возможного внутреннего контроля роста. Находим точку перегиба т из условия d2m, Л. dm Л.. (г — вЫт — в) —— = 0 (3) dt2 v .' dt и, поскольку > 0 для конечного то г Л 1.

In 771 = - — 1, t = - In в ' в.

— lnmo], (4) где t — время, когда данная точка перегиба достигается. Если выполняется неравенство г/9 — In mo < 1, то, очевидно, точки перегиба нет, что означает уменьшение т при t > 0 и т < то.

Опухоль может максимально вырасти до размера точки перегиба, умноженной на е. Действительно, из (4) вытекает, что ж = е^-1, 777оо = ет.

При t > t выполняется неравенство m (t) > rh и, следовательно, тоо < em (t).

Закон Гомперца можно применять для описания роста как твердых, так и рассеянных видов опухолей [43].

Приведем свойства обобщенного логистического закона (2):

Постоянная г > 0 характеризует темп роста клеток, 9 > О интерпретируется как предельное значение числа клеток. Семейство кривых закона зависит от параметра /?, который определяет большую или меньшую скорость насыщения по сравнению с логистическим законом роста, соответствующего /3 = 1 в модели (2). Это дает большую гибкость при написании модели на основе экспериментальных данных.

Решение задачи Коши (2) представляется равенством Решение имеет предельное значение при t —> оо, равное = в, что соответствует фазе выхода на плато.

На рис. 3 представлены графики решений уравнения (1) (обозначен Gompertz) и уравнения (2) (Logistic) при разных значениях /?.

Достоинством данных моделей является довольно точное качественное описание характера роста: в начале процесса происходит экспоненциальный рост числа клеток, который сменяется на рост близкий к линейному, и затем происходит выход на плато предельного числа клеток в опухоли. Чаще других используется модель Гомперца, поскольку в большинстве случаев она описывает кривую роста лучше. К недостаткам моделей (1) и (2) следует отнести пренебрежение внутренней структурой опухоли (наличие некротического ядра), а также отсутствие многих других внешних факторов (доступность питательного вещества, разнотипность клеток опухоли, трудность соотнесения параметров моделей с поведением самих клеток). т.

12 ю 4 8 6 2 0 0 5.

Рис. 3: Графики решения уравнения Гомперца (1) и обобщенного логистического уравнения (2) при (3 = 0.5, 1, 2.

Одним из эффективных способов борьбы с опухолью является химиотерапия. Для изучения проблемы проводятся клинические исследования in vitro и in vivo, имеющие как успешные, так и неудачные результаты. Ясно, что исследование математических моделей важно с точки зрения того, что они могут дать для диагностики и лечения болезни. Следует отметить, что в работе такой сложный процесс, как рост и подавление злокачественных клеток исследуется в достаточно идеализированном и упрощенном виде, как математические модели, поэтому полученные результаты нуждаются в экспериментальной проверке. Предполагается, что химиотерапевтическое средство способно убивать клетки, причем их взаимодействие описывается с помощью соотношений, аналогичных принятым в уравнении хищник-жертва Лотка-Вольтерры. Аналогия следующая: хищником выступает средство, жертвой — клетка. Целью диссертации является исследование вопроса оптимальной химиотерапии злокачественных клеток в принятой математической модели.

В диссертации исследуется математическая модель воздействия хи-миотерапевтического средства на клетки опухоли с возможностью управления этим процессом. Количество химиотерапевтического средства в опухоли регулируется с помощью управляющей функции. Обозначаем через h (t) — количество химиотерапевтического средства в момент времени t, способного убивать клетки опухоли, f (h) — функцию терапии, описывающую степень воздействия средства на клетки опухоли, u (t) — количество химиотерапевтического средства, вводимого в опухоль в единицу времени. Рассматриваются два варианта функции терапии: монотонно возрастающая всюду при h > О, называемая далее монотонной, и возрастающая до некоторого значения h, а затем убывающая, обозначаемая как немонотонная. Первый случай означает, что увеличение количества химиотерапевтического средства приводит лишь к повышению эффективности терапии. Второй случай соответствует ситуации, когда действенность препарата уменьшается при достижении некоторой пороговой величины h. Процесс взаимодействия клеток опухоли и химиотерапевтического средства задается уравнениями d/m = д{т)-'ymf^h), 7 — const > 0, ra (0) = ra0, (5) = —ah + и, а — const > 0, h{0) — ho, (6).

Hi U где <7 (га) = г га — 9 т In га в случае роста числа злокачественных клеток.

— (f У] ском законе. Время изменяется в пределах t € [0, Г], параметр 7 определяет эффективность принимаемой терапии, а — коэффициент диссипации, u (t) — неотрицательная функция из пространства Loo ([0,T]) существенно ограниченных измеримых на [0, Т] функций. Ставится ограничение либо на величину количества химиотерапевтического средства, вводимого в опухоль в единицу времени.

0 < u (t) < Q, (7) либо на его суммарное количество, используемое за промежуток времени [0, Г] т.

J un (t) dt < Qs. (8) о по закону Гомперца и д (т) = гт при обобщенном логистиче.

Здесь величины Q, Qs и п > 1 заданы. Требуется решить задачу синтеза оптимального управления с целью минимизации квадрата числа клеток к фиксированному моменту времени Т.

J {и) — m2(T) —> inf. (9) и.

Некоторые подходы взаимодействия теории оптимального управления с химиотерапией опухоли излагаются в [47, 48], где исследуются динамика раковых клеток х, а также управляющее воздействие u (t) на них противоопухолевым лекарством, которое предполагается постоянно доставляемым. Отметим, что не рассматривается уравнение динамики для лекарства.

Решена задача оптимального управления в случае минимизации функциот т налов J и (т) dr, f [u-(rr) + /ж2(т)] dr. о о.

Оптимальные стратегии терапии неоднородной опухоли изучались в [32, 33]. Доказано, что оптимальная стратегия управления заключается в применении постоянного управления и = и0 > 0, где и0 — максимально возможная концентрация лекарства, в случае модели, содержащей два типа клеток: подверженных терапии и не поддающихся терапевтическому воздействию, если рост клеток опухоли происходит по линейному закону (закон Мальтуса) и функция терапии f (h) также является линейной.

При лечении опухолей возможно осуществлять непрерывный контроль за текущим состоянием больного, и, следовательно, в каждый момент времени t фазовый вектор (m (t), h (t)) может быть измерен с достаточно большой степенью точности. Более того, так как реакция на химиотера-певтическое средство может протекать по-разному, то стратегия терапии в каждый момент времени должна учитывать текущее состояние больного. Поэтому оптимальное управление в задаче (5) — (9) ищется в классе функций, зависящих от времени и фазовых координат и имеет вид и = u (m, /г, t), то есть ищется С-управление (управление по принципу обратной связи или синтез управления), указывающее, какие управляющие воздействия должны выбираться в каждом из возможных положений системы.

В диссертации впервые рассмотрена задача построения синтеза оптимального управления при одном из двух видов ограничений (7) или (8) и двух типах функции терапии.

Поскольку задача состоит в нахождении синтеза управления, то в качестве основного метода решения был выбран метод динамического программирования, разработанный Р. Беллманом [5, 6]. Он заключается в том, что конкретная задача с фиксированными значениями параметров погружается в семейство задач, в которых эти параметры представляют собой области. Затем выводятся соотношения, связывающие различные элементы этого семейства задач. Оптимальные значения минимизируемого функционала, вычисленные для каждого сочетания параметров, образуют функцию цены. При этом набор параметров должен быть достаточным, чтобы можно было сформулировать принцип оптимальности. Тогда функция цены является решением дифференциального уравнения в частных производных, называемого уравнением Гамильтона—Якоби—Беллмана (далее уравнение ГЯБ). Синтез управления находится как множество управлений, на котором достигается экстремум в этом уравнении. При этом трудности связаны с тем, что решать задачу Коши для уравнения ГЯБ нужно во всем фазовом пространстве переменных. В частности, при применении численных процедур отыскания решения неизвестна асимптотика этих решений, а ее поиск представляет самостоятельную и не менее трудную задачу [1].

Часто функция цены бывает не всюду гладкой, тогда используются различные понятия обобщенного решения уравнения Беллмана такие как, вязкостные решения, введенные М. Г. Крэндаллом и П. J1. Лионсом [34], или минимаксные решения, определенные А. И. Субботиным [19, 20]. В диссертации построены классические решения уравнения ГЯБ для рассматриваемых задач.

Классические решения уравнения ГЯБ удается найти лишь в ограниченном числе задач (например, линейно-квадратичная задача оптимального управления) [36, 4]. Однако в ряде случаев полученное в них оптимальное управление невозможно применить на практике, потому что управляющая функция допускает бесконечно большие значения.

В [16, 7] решены задачи синтеза оптимального управления стохастическими системами для случая интегрального ограничения на управление. Доказано, что локальные решения уравнения Беллмана (то есть решения внутри некоторой подобласти пространства переменных) аппроксимируют оптимальное значение функционала.

Целью данной работы является решение задач синтеза оптимального управления в математических моделях химиотерапии опухоли и нахождение классических решений уравнений ГЯБ.

Для достижения поставленной цели применялся метод локальных решений, с помощью которого был разработан аналитический способ гладкого склеивания локальных решений, соответствующих активному и неуправляемому движениям и тем самым найдены классические решения уравнения ГЯБ в рассмотренных задачах.

В первой главе диссертации излагаются модельные примеры, описывающие разные случаи построения классического решения уравнения Гамильтона—Якоби—Беллмана с помощью метода локальных решений. Они отличаются от основной задачи терапии злокачественных клеток (5)—(7),(9) отсутствием некоторых слагаемых в уравнениях динамики га и h. Это позволило продемонстрировать метод локальных решений и процедуру построения решения во всем пространстве на более простых примерах.

В разделе 1.1 содержится постановка в общем виде задачи оптимального управления, которая рассматривается в следующих разделах данной главы.

Задается система дифференциальных уравнений, описывающая динамику переменных т и h.

10) = -ah + и, h (0) — ho, dt.

И) где /(/i)—заданная функция терапии, управление u (t) — неотрицательная функция из класса Loo ([0,T]), а ^ 0 — произвольная постоянная. Ограничение на управление имеет вид.

О < u{t) ^ Q, (12) где Q — заданное значение. Требуется минимизировать функционал.

J (и) — т2(Т) inf. (13).

Вводится функция цены S (rn, h, t) — точная нижняя грань заданного функционала, которая может быть достигнута в задаче оптимального управления при начальных условиях Ц = t, tuq = m, Iiq = h. Предполагается, что она непрерывно дифференцируема по своим переменным га, h, t. Тогда функция S удовлетворяет уравнению ГЯБ и условию Коши [36], которые для задачи (10)—(13) имеют вид ds as hds ds = —mf (h)——ah—- + mf u— (14) от dm oh o^u^q oh.

S (m, h, r)T=0 = m2. (15).

Здесь была произведена замена переменной т = Т — t, которая имеет смысл обратного времени.

Вычисляя точную нижнюю грань в (14), находим, что она достигается на управлении.

Q, Ш < о, u (m, h, r) — <

0, Щ > 0,.

Подставляя его в (14), получаем уравнение ГЯБ и начальное условие в виде dS *fudS udS ,^fdSdS or I. ns 2 MCV где.

Ф = /Q' Ц <

Решение уравнения ищется в пространстве переменных га, h, т.

Q = {т > 0, h, 0 < г ^ Т}.

Дополнительно предполагается выполненным краевое условие вида.

95 =о,.

771=0 dm поскольку уравнение ГЯБ и условие Коши инвариантны относительно замены переменной га на —га, и функция S, по предположению, удовлетворяет условиям гладкости. В пространстве Q рассматриваем три множества.

Da = {га > 0, h, 0 < т ^ Т: Sh < 0}, Dp = {m>0,h, 00}, Dn = {га > 0, h, 0 < т ^ Т: Sh = 0}, соответствующие активному режиму управления (и = Q), неуправляемому движению (и = 0) и режиму с неопределенным управлением.

В разделе 1.2 изложена суть метода локальных решений для нахождения классического решения уравнения ГЯБ, применяемого к модельным задачам (10)—(13) с различными f (h) и параметрами системы и задачам терапии опухоли (5)-(9). Уравнение ГЯБ является нелинейным уравнением в частных производных первого порядка. Сначала отыскивают точные решения псевдоуравнений ГЯБ, удовлетворяющие условию Коши (15), вида и.

ВЧ = Жт. М) = «>2, (18) первое из которых совпадает с уравнением ГЯБ (16) при Ф {jjji} = Q, & второе —при условии Ф (щ») — 0. Уравнение (17) далее называем псевдо-уравпением ГЯБ, соответствующим режиму активного управления (и = Q), псевдоуравнение (18)—соответствующим режиму неуправляемого движения (и = 0). Они являются однородными линейными уравнениями в частных производных первого порядка. Обозначаем решения (17) и (18) через Sla и Sp и находим их с помощью метода характеристик [12, 14, 15, 17, 18]. Этот метод сводит решение уравнения с частными производными к интегрированию характеристической системы обыкновенных дифференциальных уравнений. Функции Sla и Slp являются локальными решениями уравнения ГЯБ (16), поскольку удовлетворяют уравнению лишь в некоторой области. Множество, на котором Sla является локальным решением уравнения ГЯБ, задается в виде функция Si является локальным решением уравнения ГЯБ на множестве.

Dlp= {т> h, 0<r^T:О dsl dh.

Через и^у1р обозначаем границы этих множеств, исключая т = О,.

Г ЗЧ1 Л yla = lm>0,h, Q.

7-= 0, М <�т^Т: ^ = 0}.

С помощью локальных решений Sla и Slp, определенных на множествах Dla и Dlp соответственно, оказывается, можно построить классическое решение уравнения ГЯБ во всем пространстве Q.

В разделе 1.3 содержится первый пример построения классического решения уравнения ГЯБ. В нем функция цены полностью определяется локальным решением Sla. Данный пример соответствует общей постановке задачи (10)—(13), в которой функция терапии f (h) = h/(1 + h) — монотонно возрастающая на области определения, коэффициент диссипации, а = 0. Были найдены точное решение Sla псевдоуравнения ГЯБ, соответствующего u = Q, и точное решение Sp псевдоуравнения с и = 0, удовлетворяющие условию Коши при т = 0. При этом оказалось, что множество Dla Uyla совпадает со всем пространством переменных, множество Dlp пусто. Поэтому функция, всюду в равная Sla, является функцией цены в задаче, а управление имеет вид и = Q при всех (m, h, т) 6Е П.

Если границы jla и jlp совпадают — 7р — 7) Функции Sla и Sp, заданные на множествах Dla и Dlp соответственно, склеиваются на 7 вместе со своими производными по переменным m, h, г, а DlaU DlpU j образует все то функция, совпадающая с локальным решением Sla на Dla и с Sp на множестве Dlp, является классическим решением уравнения ГЯБ, и синтез оптимального управления равен и = Q в области Dla и и = 0 в Dlp. В противном случае, если 7^ ф 7^ и Dla U Dlp U 7^ U 7^ ф Г2, ищут новые локальные решения уравнения ГЯБ в той части пространства, где решение не известно, но удовлетворяющие уже другому условию вместо (15). Выбор границы, на которой необходимо задавать условие, зависит от поведения характеристик уравнения ГЯБ, уходящих из т = 0, на множествах Dla и Dlp и обеспечивает гладкое склеивание найденных локальных решений во всем пространстве переменных.

Заключение

.

Приведем основные результаты работы.

В диссертации решена задача синтеза оптимального управления в математических моделях химиотерапии опухоли. Предполагается, что клетки опухоли растут по закону Гомперца или по обобщенному логистическому закону. Задается ограничение либо на величину количества химиотерапев-тического средства, вводимого в опухоль в единицу времени, либо на его суммарное количество, используемое за указанный промежуток времени. Доказано, что вид закона роста клеток качественно не влияет на стратегию терапии. Синтез оптимального управления существенно зависит от типа функции терапии, описывающей степень воздействия средства на клетки опухоли (монотонно возрастающая или возрастающая до некоторого значения, а затем убывающая). В случае ограничения на количество вводимого в единицу времени химиотерапевтического средства получено явное выражение для функции цены. Для интегрального ограничения на управляющее воздействие найдена оценка для функции цены.

Если функции терапии является монотонно возрастающей, то есть оказываемое воздействие на опухоль тем сильнее, чем больше химиотерапевтического средства, то оптимальная стратегия терапии тривиальна и состоит в постоянном применении максимально возможного количества средства.

Для немонотонной функции терапии, когда оказываемое на опухоль химиотерапевтическое воздействие уменьшается при достижении его количеством некоторого порогового значения h, стратегия терапии иная. Построен синтез оптимального управления. Когда параметры задачи удовлетворяют условию h ^ Q/a, необходимо сначала довести количество химиотерапевтического средства в опухоли до предельного значения h и затем поддерживать его на этом уровне с помощью управления и = ah до конца процесса. Если же h > Q/a, то найдено множество точек переключения управления с и = Q на и — 0, представляющее собой поверхность в фазовом пространстве, разделяющую его на две области, в одной из которых необходимо управлять с и = Q, а в другой — положить и = 0. Таким образом, по заданному состоянию фазовых переменных в каждый момент времени, зная положение поверхности переключения в пространстве, можно указать оптимальную стратегию терапии.

Сформулирован метод локальных решений для нахождения классического решения уравнения Гамильтона—Якоби—Беллмана. Обнаружены четыре различные ситуации, возникающие при склеивании локальных решений, которые разобраны на примерах модельных задач.