Анализ и разработка алгоритмов и программного обеспечения для компьютерных систем управления транспортными техническими устройствами в изменяющихся условиях

Создание автоматизированных производств предполагает автоматизацию не только физического, но и интеллектуального труда человека. Для выполнения труднопрограммируемых операций приходится создавать комбинированные человеко-машинные комплексы, в которых управляющее воздействие при решении не запрограммированных задач принимает человек. Однако, во многих областях деятельности присутствие человека нежелательно или невозможно. К ним можно отнести атомную энергетику, космические. исследования, работу в удаленных регионах. Дополнительно задача усложняется тем, что работа устройств протекает в неизвестных условиях, которые могут изменяться. В этой связи, на стадии проектирования и разработки не представляется возможным реализация полной программы работы такого устройства, которое должно демонстрировать интеллектуальное поведение.

Таким образом, актуальной научной задачей является исследование и разработка алгоритмов и программного обеспечения, позволяющих организовать работу автономных технических устройств в изменяющихся условиях, а также проверка разработанных алгоритмов.

В данной работе ставилась задача охватить круг вопросов, связанных с программным управлением автономными транспортными устройствами, движение которых осуществляется за счет перемещения его отдельных частей в заданном направлении движения.

Основные исследования, которые проведены в рамках представленной работы, можно свести к трем направлениям :

1 .Представление знаний и работа с ними. Это — создание специализированных алгоритмов и программных компонентов для представления и накопления знаний в ЭВМ, а также алгоритмов для их преобразования. Проведены исследования по созданию специальных методов, позволяющих пополнять и обобщать знания, хранимые в машине.

2.Планирование целесообразного поведения. Исследования по созданию алгоритмов формирования целей и решения задач планирования действий транспортного устройства для достижения цели, функционирующего в изменяющихся условиях.

3.Исследования по накоплению и обобщению информации, алгоритмов ее обработки и способов адаптации программной системы управления к среде функционирования путем обучения.

Работа посвящена методам построения программных систем управления и обучения транспортных технических устройств.

Основной задачей программной системы управления подобными устройствами является выработка последовательности действий для достижения заранее определенной цели. Таким образом, программа представляет собой планирующую систему, которая, исходя из условий задачи и условий работы устройства, автоматически строит план, или последовательность действий, приводящих устройство в целевое состояние.

Такая последовательность не является единственной. Программа должна обладать способностью принимать решения о выборе плана, возможно, рационального по некоторым критериям [58,61].

Таким образом, основными задачами программной системы автономного устройства являются:

1. Накопление и корректировка знаний на основе восприятия информации об условиях работы и обобщенного опыта.

2. Целенаправленное поведение на основе накопленных знаний для достижения цели.

Необходимо отметить, что рассматриваемый класс устройств обладает возможностью совершать различные виды действий в процессе своей работы. При этом, в зависимости от условий работы устройство может находиться в различных ситуациях, связанных с положением относительно местности работы и внутреннего расположения узлов и механизмов самого устройства, что определяет множество возможных состояний пары среда-устройство. Поскольку условия работы могут изменяться или быть не полностью известны, то возникает задача выбора в каждом из возможных состояний одного из действий таким образом, чтобы данный выбор обеспечивал достижение целевого положения некоторым рациональным образом.

Под изменяющимися условиями автор понимает необходимость изменения выбора одного из возможных действий в каждом из состояний с точки зрения достижения целевого положения рациональным образом.

Программная система управления устройством должна уметь оценить состояние, в котором находится управляемое устройство, выбрать нужное действие для данного состояния. Данный выбор должен осуществляться на основе обучения или сбора информации программой управления.

Таким образом, возникают задачи построения методик и алгоритмов программных средств управления транспортными устройствами, основным функциональным назначением которых являются:

1. Оценка состояния пары среда-устройство управления.

2. Выбор реализуемого действия для определенного программой состояния.

3. Построение последовательности действий с целью достижения целевого положения.

4. Сбор информации или обучение для реализации рационального поведения механизма.

Задачи построения программных планирующих систем рассматривались многими авторами. Упомянем в этой связи имена Попова Э. В., Фридмана Г. Р., Скурихина В. И., Feigenbaum Е.А., McCorduck М.С., Winston P.N., Mitchell T.M., Sutton R.S., Quinlan J.R.

Задачи построения программных систем обучения и управления трудно поддаются обобщению и классификации. В настоящее время сформировалось три направления в теории обучения. Первый — на основе символьного представления информации, второй — на основе связей и третий основан на принципах генетики или эволюционной теории.

Первый из подходов к обучению сводится к явному представлению в системе знаний об области определения решаемой задачи. На основе своего опыта обучаемая система строит или модифицирует выражение на формальном языке и сохраняет эти знания для последующего использования. Символьные подходы строятся на предположении, что основное влияние на поведение системы оказывают знания об области определения в их явном представлении. К числу наиболее известных программных систем символьного представления знания можно отнести системы LEX [Mitchel Т.М.], ID3 [Quinlan J.R.], Meta-Dendral [Mitchel T.M.], COB-WEB [Fisher D.H.].

Нейронные сети, или сети связей, обучаются на основе символьного языка. Знания программы не явно представлены в общей организации и взаимодействии этих нейронов. Нейронные сети обучаются не за счет добавления новой информации в базу знаний, а за счет модификации своей общей структуры в ответ на получаемую извне информацию. Можно выделить модели Кохонена [Kohonen Т. ] и Хехта-Нильсена [Hecht-Nielsen R.] и конкурентные методы их обучения, алгоритм обучения Хебба [Невв D.O.].

Эмерджентный подход к обучению, основанный на адаптации, отражен в генетических алгоритмах, генетическом программировании и исследовании искусственной жизни. [Conway J.H., Brooks R.A., Holland J.H.]

Машинное обучение — это обширная область исследований, охватывающая большое количество проблем и алгоритмов их решения. Эти алгоритмы различаются своими задачами, исходными данными, стратегиями обучения и способами представления знаний. Однако, все они сводятся к поиску полезной информации в пространстве возможных понятий и ее корректному обобщению. Можно выделить ряд обзоров, посвященных машинному обучению [41,42, 56, 58, 67].

В работе предлагаются новые алгоритмы построения программной системы обучения, в основе которых лежит идея обучения на принципе взаимодействия со средой функционирования устройства [55].

Предлагаемый способ обучения можно сравнить с обучением человека. Человек обычно обучается в процессе взаимодействия с окружающим миром. Однако обратная связь, вызванная действиями человека, не всегда проявляется сразу и в явной форме. Например, в человеческих взаимоотношениях результаты наших действий сказываются лишь по прошествии некоторого времени. На примере взаимодействия с миром всегда можно проследить причинно-следственные связи, а также последовательности действий, приводящие к реализации сложных целей.

Соединение программы обучения и управления и среды функционирования позволяет получить требуемую информацию об эффективности действий, их последовательности для достижения цели. В работе используется оценочный подход к проблеме обучения во взаимодействии со средой, названный обучением с подкреплением [56, 58].

Базовая идея алгоритмов обучения с подкреплением — собрать наиболее важные аспекты реальной задачи, возникающие перед программной системой устройства в процессе взаимодействия со средой и достижения цели. Очевидно, что программа управления должна уметь определить и оценить состояние, в котором находится устройство, и принять действия, которые повлияют на это состояние. Кроме того, у устройства должна быть поставлена цель, которую необходимо достичь.

В процессе обучения с подкреплением вырабатывается вычислительный алгоритм перехода от ситуации к действиям, которые максимизируют величину полученного вознаграждения или выигрыша. В отличие от большинства форм машинного обучения, обучение с подкреплением не определяет явно какое действие выбрать в конкретной ситуации или состоянии, а исследует действия на предмет вознаграждения, которое может быть получено в случае их выполнения. При этом в большинстве случаев выбор действия влияет не только на непосредственное вознаграждение, но и возможно на последующие ситуации и, таким образом, на все дальнейшие вознаграждения. Действия определяются не только сиюминутным результатом, но и последующими действиями и случайными вознаграждениями. Эти два свойства (метод «проб и ошибок» и подкрепление с задержкой) являются основными характеристиками обучения с подкреплением.

Таким образом, в терминологии обучения с подкреплением можно выделить три важных компонента: действие, вознаграждение и цель. Важно отметить, что устройство работает на основе собственного опыта, что позволяет использовать представленный способ машинного обучения для построения программных систем автономных устройств .

Один из вопросов, возникающих при использовании обучения с подкреплением — это нахождение компромисса между исследованием и эксплуатацией [33]. Для получения большего вознаграждения устройство в каждой ситуации должно предпочесть действие, которое уже использовалось в прошлом и оказалось наиболее эффективным или приносящим наибольшее вознаграждение. Но для этого программа должна выбирать действия, которые еще не были проверены в данной ситуации или состоянии. Для достижения наибольшего вознаграждения необходимо использовать (эксплуатировать) то, что уже известно, при этом исследовать наиболее выигрышные действия в будущем. Проблема в том, что ни эксплуатация, ни исследование не могут быть использованы отдельно, в отрыве друг от друга.

Другая ключевая особенность обучения с подкреплением — наличие определенной цели [35,54], к достижению которой должны вести все действия устройства. В задачах обучения с подкреплением также возможно использование понятия планирования, но в контексте выбора или компромисса между самим планированием и выбором действий в различных состояниях в режиме реального времени.

В обучении с подкреплением участвуют четыре компонента: политика, функция вознаграждения, функция стоимости и модель внешней среды.

Политика определяет выбор программной системы управления в каждом из возможных состояний одного из действий и, соответственно, способ действия устройства в определенное время. Такая политика может быть представлена правилами вывода или простой таблицей поиска.

Функция вознаграждения задает отображение каждого действия для заданного состояния в числовую меру, определяющую степень эффективности принятия действия в данном состоянии для достижения цели. В процессе обучения с подкреплением ставится цель максимизации общего вознаграждения, получаемого в результате решения задачи.

Функция стоимости, или ценности это числовая величина определяемая для каждого состояния среда — устройство, задающая величину вознаграждения, на которое может рассчитывать устройство, продолжая действовать из этого состояния. Если функция вознаграждения определяет сиюминутную эффективность пары «состояние-отклик», то функция ценности задает долговременную перспективу всех дальнейших состояний. Например, пара «состояние-действие» может приводить к низкому сиюминутному вознаграждению, но иметь высокую ценность, поскольку за ней обычно следуют другие состояния с высоким вознаграждением. Низкая ценность соответствует состояниям, не приводящим к успешному решению задачи.

Без функции вознаграждения нельзя определить значение ценности, которую необходимо оценить для получения более высокого вознаграждения. Однако в процессе принятия решений в первую очередь интересует ценность, поскольку она определяет состояния и их комбинации, приводящие к максимальному вознаграждению. Вознаграждение предоставляется непосредственно внешней средой, а стоимость может многократно оцениваться со временем на основе успешного и ошибочного опыта. На самом деле, наиболее критичным и сложным моментом обучения с подкреплением является создание метода эффективного определения ценности.

Последним и необязательным элементом обучения с подкреплением является модель внешней среды. Модель — это механизм реализации аспектов поведения внешней среды. Модели можно использовать не только для выявления сбоев, как в диагностике, но и при определении плана действий. Модели позволяют оценить результаты возможных действий без их реального выполнения. Планирование на основе моделей является дополнением к парадигме обучения с подкреплением, которое позволяет реализовывать возможности обучения без проведения натурных испытаний при физическом отсутствии объекта обучения, что значительно расширяет сферу применения предлагаемого подхода к обучению [4,54,29].

Целью диссертационной работы является исследование и разработка алгоритмов и методов построения программных систем для управления и обучения автономных транспортных устройств при работе в изменяющихся условиях, а также проверка алгоритмов с использованием компьютерного имитационного моделирования при отсутствии реальных условий для испытания.

Основными задачами, решаемыми в рамках данной работы, являются:

1.Анализ и оценка современных методов построения программного обеспечения для обучения и управления автономными интеллектуальными устройствами.

2.Разработка алгоритмов обучения и управления, позволяющих реализовать программное обеспечение интеллектуальных устройств для работы в неопределенных или изменяющихся условиях.

3.Создание имитационной модели для проведения функциональной проверки методик построения алгоритмов обучения и управления. Выбор прототипа для моделирования.

4.Анализ и оценка результатов моделирования.

Научная новизна данной работы заключается в том, что:

1. Предложена и исследована оригинальная методика построения программных систем управления техническим устройством, основанная на обучении во взаимодействии со средой функционирования и получении вознаграждений от работы. При этом отличительной особенностью является отсутствие предварительной информации о среде работы устройства управления.

2.Разработан способ накопления знаний, в основе которого лежат новые алгоритмы обработки вознаграждений принятия устройством действий, полученных от взаимодействия со средой.

3.В первые предложена и реализована компьютерная имитационная модель работы выбранного прототипа. Проведена проверка работоспособности созданных методов обучения и управления на соответствующих тестах в рамках имитационного моделирования.

На защиту выносятся следующие положения, представляющие научную новизну:

1 .Разработанные алгоритмы обучения (накопления знаний) управляющего программного обеспечения технического устройства.

2.Алгоритмы управления на базе накопленных знаний, обеспечивающие построение рациональных планов достижении цели согласно определенным критериям.

3.Программная имитационная модель работы выбранного прототипа устройства в соответствии с разработанными алгоритмами обучения и управления.

Практическую ценность представляют математические методы и алгоритмы обучения и управления автономными устройствами, созданные в рамках данной работы, а также результаты имитационного моделирования прототипа такого устройства. Разработанные методы построения программных систем управления на базе алгоритмов обучения и методика апробации алгоритмов в рамках имитационного моделирования могут быть использованы в различных областях народного хозяйства, требующих полной автоматизации труда человека. В том числе, в космической технике, а также при организации работ в удаленных и труднодоступных регионах, в условиях, при которых присутствие человека невозможно.

Диссертационная работа состоит из введения, трех глав, заключения, списка литературы и приложения.

3.5 Выводы и результаты

1. Для анализа и оценки работоспособности алгоритмов обучения с подкреплением выбран объект — автоматизированный самоходный агрегат. Определены основные состояния, в которых может пребывать агрегат, и действия, которые он может реализовывать.

2. Построена оригинальная компьютерная модель АСА, модель среды работы и виртуальный полигон, позволяющие проводить проверку работоспособности выбранных алгоритмов обучения и управления.

3. Впервые определены и реализованы способы задания входных параметров моделирования, параметров виртуального полигона, режимов работы АСА. Заданы критерии оценки значений вознаграждений. Реализованы возможности задания целевых состояний и траектории движения агрегата.

4. В рамках созданной модели определены оригинальные программные компоненты, необходимые для обучения агрегата, блоки накопления и хранения результатов обучения (база знаний) и блок принятия решения на основе накопленных знаний.

5. Реализовано обучение агрегата алгоритмами обучения с подкреплением, новыми методами обучения на основе эксперимента и методом временных разностей.

6. Проведен анализ правильности и эффективности работоспособности алгоритмов обучения. Согласно результатам моделирования можно сделать вывод о том, что апробированные методы обеспечивают правильность при обучении. Методы временных разностей требуют малого числа эпизодов (5) для обучения. Методы МЭ большего числа эпизодов (50−100), после которых действия агрегата становятся правильными.

Заключение

Содержанием работы является теоретическая разработка, анализ и исследование, а также практическая реализация в рамках компьютерного моделирования алгоритмов обучения и управления автономными транспортными устройствами. В результате проведенных автором исследований получены следующие основные научно-технические результаты:

1.Определена общая структура программной системы обучения и управления, выявлены основные блоки, составляющие структуру интеллектуальной системы. Сформулирована основная задача — управление для достижения цели автономным устройством в неизвестных изменяющихся условиях.

2.Разработаны новые методы построения программных систем обучения и управления на базе теории обучения с подкреплением как способ реализации интеллектуальной составляющей транспортных устройств. Обучение с подкреплением при этом реализует концепцию обучения во взаимодействии со средой функционирования и накопление знаний на основе реального или модельного опыта. Отличительной особенностью предложенной методики является отсутствие необходимости как поиска решающего пути в пространстве состояний, так и полных знаний условий работы устройства.

3.Определены оригинальные методы и критерии рационального управления устройством согласно знаниям, полученным во время обучения. Обучающая программа сохраняет данные о вознаграждениях во всех посещаемых в процессе обучения состояниях. Понятие полного вознаграждения определяет всю совокупность вознаграждений, полученных до терминального (целевого) состояния. Таким образом, система максимизирует полное вознаграждение, полученное за все время работы. Доказана сходимость и, соответственно, практическая применимость полученных методов.

4.Реализована компьютерная имитационная модель функционирования выбранного прототипа устройства (АСА). Реализовано обучение агрегата созданными алгоритмами обучения с подкреплением при различных условиях функционирования агрегата. Показано, что применение компьютерного моделирования является целесообразным при предварительном обучении программной системы устройства в отсутствии полной информации о среде предполагаемой эксплуатации.

5.На базе результатов моделирования проведен анализ правильности и эффективности работоспособности созданных алгоритмов обучения с подкреплением. По результатам моделирования можно сделать вывод о том, что представленные алгоритмы обеспечивают обучение выбранного прототипа при низком объеме вычислений. При этом не требуются реализация поиска в пространстве возможных состояний системы устройство-среда и полного знания условий работы. Согласно проведенным исследованиям, представленные методы требуют от 5 до 50 эпизодов обучения, после которых действия устройства становятся правильными согласно заданным критериям эффективной работы.