Исследования по стохастическому оптимальному уровню

Содержание

Актуальность темы. Математические модели и методы стохастического оптимального управления составляют раздел общей теории оптимального управления. Краеугольным камнем детерминированной части этой теории для процессов, протекающих во времени, служат общая концепция динамического программирования и принцип максимума Понтрягина, разработанные Беллманом, Понтрягиным и их многочисленными учениками и последователями.

В создании стохастической части этого раздела исходным пунктом послужили работы Вальда и других авторов по последовательному анализу, которые привели к созданию общей теории статистических решений. Различные расширения этой теории и близкие по духу идеи отражены в работах Ховарда, Блэкуэлла, Штрауха, Дынкина и Юшкевича, Райфа и Шляйфера, Гихмана и Скорохода и многих других.

К тому же кругу вопросов относятся такие математические теории, как управление процессами диффузионного и более общего типа (при этом стоит упомянуть работы Крылова, Прагараускаса и их учеников), теория оптимальной остановки марковских цепей и статистика случайных процессов, развитые в работах Ширяева, Липцера и Ширяева, Чоу и др., стохастический принцип максимума (Аркин и др.), теория адаптивного управления (Срагович и его ученики).

Важную роль сыграла в свое время задача оптимального выбора, которая во многом стимулировала развитие общей теории оптимальной остановки.

В задачах последовательного управления по неполным данным существенное место занимает так называемая задача о «двуруком бандите», которая отражает основные особенности соответствующей теории. По этой тематике опубликовано несколько монографий и много статей. Упомянем только работы Уиттла, Гиттинса, Бэрри и Фристеда, Варайя, Глазербука, Демпстера и др.

Основным моментом при рассмотрении задач последовательного управления по неполным данным в байесовской постановке является их сведение к задачам управления по полным наблюдениям, когда надо следить за достаточными статистиками. В рассматриваемых задачах достаточными статистиками являются апостериорные вероятности гипотез, при этом в случае непрерывного времени, соответствующая задача сводится к задаче управления процессом с дискретным вмешательством случая (piecewise deterministic processes или PDP — в английской терминологии). Изучению этих процессов посвящена в настоящее время также обширная

литература. Следует упомянуть работы Вермеша, Ленхардта и Ляо, Дэвиса, Сонэра и др.

Общие вопросы стохастического управления (в основном с полной информацией) рассматриваются в работах Кушнера, Бертсекаса и Шрива, Уитла, Росса, Стенгеля, Кумара и Варайя, Дэвиса, Дэвиса и Винтера, Боркара и др.

Существует обширная

литература, посвященная прикладным аспектам стохастического управления. Упомянем только работы Фельдбаума, Красовского, Куржанского, Юдина, Черноусько, Колмановского и многих других.

В последние годы развитие теории стохастического управления существенно стимулировалось потребностями решения задач управления производственными процессами и финансовыми инструментами. Вопросам стохастического управления, связанным с производственными процессами посвящены работы Гершвина, Кумара, Караманиса, Ласер-ре, Бея, Хойри, Сэти и его соавторов и др. Применение соответствующей теории и методов к вопросам финансовой математики хорошо отражены в недавно вышедшей монографии Ширяева и монографии Сэти, в которых содержится обширная библиография по этой тематике.

Проблематика управляемых случайных процессов является весьма популярной в последние десятилетия. Почти все конференции, посвященные теории управления, теории вероятностей и случайным процессам имеют соответствующие секции. Такие секции присутствуют и на многих конференциях, посвященных прикладным вопросам.

Цель работы. Диссертационная работа посвящена развитию новых методов и подходов при исследовании управляемых случайных процессов. Эти методы и подходы связаны с углубленным исследованием уравнения оптимальности Гамильтона-Якоби-Беллмана, структуры решения этого уравнения (называемого функцией Беллмана или ценой игры), и структуры оптимального управления. В отличие от случая дискретного времени с конечным горизонтом, когда имеется возможность строить оптимальное решение индукцией назад, начиная от последнего момента времени, для случая непрерывного времени, а тем более при бесконечном горизонте управления, такая возможность отсутствует, и приходится искать новые методы и подходы, заменяющие такую индукцию, и позволяющие решать конкретные задачи и изучать свойства оптимальных решений.

Наиболее существенные результаты и их новизна:

— Изучена задача оптимального выбора при случайном числе объектов, приведены условия, при которых множество остановки носит островной характер, сформулированы принципы рассмотрения предельной задачи. Для игр на случайных процессах, обобщающих задачу оптимального выбора, доказаны теоремы о существовании и числе точек равновесия по Нэшу-

— Развит подход к решению задач последовательного управления по неполным данным с дискретным вмешательством случая. Этот подход основан на их сведении к детерминированным задачам управления между скачками случайного процесса. С помощью этого подхода подробно изучена пуассоновская версия так называемой «задачи о двуруком бандите» с дисконтированием. Получены явные формулы и исследована чувствительность критерия оптимальности по отношению к коэффициенту дисконтирования.

— В задаче управления стохастическим линейным регулятором с квадратичным критерием качества получен неожиданный и неулучшаемый результат о порядке роста «дефекта» оптимального управления.

— С использованием развитого подхода к решению задач с дискретным вмешательством случая доказана теорема о существовании оптимального синтеза для линейных по управлению задач с интегральным функционалом от дисконтированной функции полезности на бесконечном интервале времени. При этом учитывается наличие детерминированных фазовых ограничений и ограничений на множество управлений, а именно, ограничений, зависящих от заданного априори марковского процесса с конечным числом состояний.

— Рассмотрена задача управления геометрическим броуновским движением, возникающая при анализе ряда важных проблем финансовой математики (например при изучении оптимального распределения капитала между потреблением и инвестициями в два вида ценных бумаг: надежных и рискованных). Проведено подробное исследование свойств оптимального управления.

Все полученные результаты являются новыми. Новыми являются также многие постановки и методы решения.

Теоретическая и практическая ценность. Результаты диссертации носят, в основном, теоретический характер, однако они могут быть использованы при планировании экспериментов, в различных экономико-математических, экономических и финансовых задачах, в моделях управления производством и в других областях.

Публикации. По теме диссертации опубликованы: монография в издательстве «Наука», перевод дополненного и исправленного варианта этой монографии на английский язык издательством «Academic Press" — 28 научных работ в ведущих отечественных и зарубежных журналах или как разделы в трех монографиях. Опубликован 21 тезис докладов, сделанных автором на отечественных и международных конференциях и симпозиумах.

Апробация работы. Результаты диссертации докладывались на отечественных и международных конференциях и симпозиумах как в нашей стране, так и за рубежом. В частности на:

— Третьем (Ташкент, 1975 г.), Четвертом (Тбилиси, 1982 г.) и Шестом (Киев, 1991 г.) Советско-японских симпозиумах по теории вероятностей и математической статистике,

— Второй (1977 г.), Третьей (1981 г.), Четвертой (1985 г.), Пятой (1989 г.) и Седьмой (1998 г.) Международных Вильнюсских конференциях по теории вероятностей и математической статистике,

— Международных Математических Конгрессах в Варшаве (1983 г.) и Берлине (

— Третьей (Туапсе, 1996 г.), Четвертой (Уфа, 1997 г.) и Пятой (Йошкар-Ола, 1998 г.) Всероссийских Школах-Коллоквиумах по стохастическим методам,

— Международной конференции «Стохастическая оптимизация», Киев, 1984,

— Первом всемирном конгрессе Общества математической статистики и теории вероятностей им. Бернулли, Ташкент, 1986 г.,

— 12-th World Congress, International Federation of Automatic Control, Sidney, Australia, 1993,

— International Conference on Stochastic Models & Optimal Stopping, Nanzan University, Nagoya, Japan, 1994.

— 2-nd World Congress of Non-Linear Analysts, Aphence, Greece, 1996.

— AMS-SIAM Summer Seminar: Mathematics of Stochastic Manufacturing Systems, Williamsburg, Virginia, USA, 1997.

Структура работы. Данный научный доклад состоит из Введения и Пяти разделов. В конце текста научного доклада приводится

список работ автора по теме диссертации. Работы, относящиеся к каждому разделу имеют независимую нумерацию ([3.4] соответствует четвертой работе автора из второго раздела), при этом сначала идут статьи, а потом тезисы. Библиографические данные по работам, имеющим отношение к рассматриваемой тематике и опубликованным другими авторами приводятся в конце каждого раздела с добавлением буквы «С» вначале ([С3.4] соответствует четвертой работе других авторов из второго раздела).

Содержание работы

I. Обобщения задачи оптимального выбора: случайное число объектов и игровые постановки

1. Введение

2. Случайное число объектов

Предельные соотношения

3. Игровое обобщение без возвращения

Связь с задачей оптимального выбора.

4. Игровое обобщение с возможностью возвращения

5. Игры на случайных процессах