Введение. 
Нечеткий контроллер с правилами самомодификации

В настоящее время стали популярны реализации систем управления объектами на базе топологий с подкреплением [2], в частности все большее развитие получают адаптивные критики [8,9], а также системы с различными реализациями Q — обучения [11]. При этом существует большое количество топологий на все случаи жизни, как адаптивных критиков, так и систем на базе Q — обучения, в частности приведем следующий список: DHP, GDHP, ADHPD, ADGDHP, GIFACL, FACL, Q — Хемминг, Dyna — Q, Q — Kohonen network, CMLP, HQ и т. д. 6, 8,9,10,11,12]. Каждая из топологий имеет свою область применения и нет ни одной универсальной [2,6]. Также у каждой топологии имеется свои достоинства и недостатки. Одной из попыток создать универсальную топологию для создания систем управления на основе обучения с подкреплением, является разработка нейросетевой топологии «Внутренний учитель» [2,3,6]. Рассмотрим дальнейшее развитие данной топологии.

Классическая топология «Внутренний учитель»

Для топологии «Внутренний учитель» используются две основные компоненты — Решатель и Учитель. Подобную функциональную схему можно найти еще в работе 1971 года [1]. Предложенная в [3] топология «Внутренний учитель» состоит из нескольких структурных компонент (см. Рисунок 1). Управляющая компонента системы — «Решатель». Она получает вектор состояния объекта и среды и формирует на выходе управляющий вектор. Вектор состояния среды формируется сенсорной компонентой. Вектор управляющего воздействия отрабатывает моторная компонента. Наиболее важная часть системы — «Учитель», компонента обучения. Компонента обучения оценивает состояние среды на предмет изменения характера воздействия на объект, и если это имеет место быть, то Учитель вмешивается в управление, перенастраивая правила управления или же вообще изменяя их. При этом Учитель в режиме первоначального обучения формирует специального вида управляющие воздействия, позволяющие быстро и полно изучить среду. Таким способом система управления (далее СУ) на базе данной топологии меняет стратегию управления. На вход Учитель получает данные обратной связи от внешней среды и историю управления объекта управления.

В качестве компоненты обратной связи используется коэффициент эффективности (далее КЭ По сути — модифицированное подкрепление.):

.

где i — номер кванта времени (итерации, одного законченного цикла управления), для которого вычисляется коэффициент; - безразмерный показатель полезной деятельности, произведенной объектом; - безразмерный показатель затраченных ресурсов.

КЭ записан в обобщенном виде и вычисляется по вектору состояния среды и состояния объекта управления. Для использования описываемой топологии в конкретных применениях КЭ должен записываться в частном виде. КЭ обрабатывается и вычисляется в компоненте обратной связи (БКЭ — блок коэффициента эффективности на Рисунке 1).

СУ должна максимизировать коэффициент эффективности, реализуя цели управления. КЭ используется для выявления изменения стратегии поведения улучшившего или ухудшившего общую оценку работы. КЭ является основным источником информации для построения эффективной схемы самообучения. При этом КЭ вычисляется на основе обработки сведений о внешней среде, объекте, и о характере взаимодействия объекта со средой.

Также для СУ на базе «Внутреннего учителя» вводятся адаптационные параметры — АП (один или несколько), регулируя которые можно добиться изменения работы Решателя. АП либо непосредственно входят в вектор подаваемый на вход Решателя, либо влияют на изменение обучающей выборки для Решателя.

В общем случае количество правил самообучения Учителя определяется по формуле:

где — глубина временного погружения по КЭ и — глубина временного погружения по АП, то есть за сколько предыдущих временных итераций учитывать КЭ и АП.

Правила самообучения Обычно трактуются, как «политика самообучения» (англ. self-modifying policies — SMP). учителя изменяют адаптационные параметры и сформулированы следующим образом:

• · если снизилось значение КЭ, то изменяем АП в противоположном направлении от предыдущих изменений;
• · если значение КЭ выросло, то продолжаем изменять АП в направлении от предыдущих изменений;
• · если значение не изменилось, то в зависимости от КЭ, либо оставляем текущие правила (если КЭ устраивает), либо хаотически изменяем применяемое правило.

Рисунок 1. Топология «Внутренний учитель» .

Подробно со стандартной топологии «Внутренний учитель» ознакомится в работах [2,6], а также в патенте РФ G 06 F 9/00 № 2 266 558.