Методы и алгоритмы структурно-параметрического синтеза нейросетевой модели для формирования интеллектуальных информационных технологий

Интеллектуальные информационные технологии в настоящее время являются одним из ключевых направлений развития информатики. Исследования по форме и методам создания интеллектуальных информационных технологий (ИИТ) для решения различных научных и практических задач активно проводятся как России, так и за рубежом.

Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов к реализации ИИТ, поскольку в большинстве случаев традиционные методы требует больших временных затрат и материальных вложений. В1 последнее время для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации и т. д. используют технологии нейронных сетей (НС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различные гибридные технологииили технологии^ мягких вычислений — Soft computing (нейро-нечетких, нейро-генетических и т. п.).

Сфера практического применения перечисленных технологий^{постоянно} расширяется. Однако, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для" конкретных приложений^ недостаточно5 проработаны-вопросы создания. гибридных моделей и особенности их реализации в1 интеллектуальных системах.'.

Такимюбразом, решаемые вдассертационнойфаботе задачи-создания5 алгоритмическогои*- программного обеспечения. ИИТ на основе нейронных сетей и различных гибридных моделей для повышения' эффективности peav лизации в них механизмов обучения, самообучения и1 адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертации является повышение эффективности структурно-параметрического синтеза нейросетевых и гибридных моделей сложных систем для обоснованного принятия решений при автоматизированном формировании интеллектуальных информационных технологий.

Для достижения поставленной цели необходимо решить следующие основные задачи.

1. Проанализировать существующие методы формирования интеллектуальных информационных технологий для решения практических задач. Выявить их достоинства и недостатки.

2. Разработать и исследовать принципы автоматизации построения базовых нейросетевых моделей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальных информационных технологий.

3. Разработать и исследовать эффективность гибридных нейросетевых моделей на, основе использования генетических, алгоритмов и систем на нечеткой логике.

4. Выполнить программную реализацию разработанных методов и алгоритмов. Проверить их работоспособность на тестовых задачах.

5. Исследовать на практике эффективность применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и формирования интеллектуальной, информационной технологии для решения практических задач.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на, методах современного системного анализа, нейро-информатики, генетических и эволюционных алгоритмов (ГА),-теории, нечеткой’логики, теории распознавания образов, теории оптимизации, методах математической статистики, объектно-ориентированного программирования.

Научную * новизну полученных в работе результатов определяют.

1. Модифицированный конструктивный алгоритм, автоматически формирующий нейросетевые модели, отличающийся от известных универсальностью подхода к выбору топологии НС, что позволяет уменьшить время обучения и время распознавания в НС.

2. Новые эволюционные алгоритмы, отличающиеся комплексностью подхода к созданию нейросетевой модели и позволяющие, в отличие от известных, минимизировать как топологию, так и ошибку обучения НС.

3. Методика и алгоритмы формирования специализированных баз знаний на основе предварительно обученных нейросетевых модулей, обеспечивающих гибкость их применения для решения конкретных задач и накопление опыта эксперта в заданной предметной области.

4. Новые методы и алгоритмы на основе совместного использования НС, систем нечеткой логики, алгоритмов глобальной оптимизации, позволяющие осуществлять комплексное моделирование сложных систем интеллектуальными информационными технологиями.

Практическая значимость результатов диссертационной работы определяется созданием формальных методик, позволяющих автоматически проектировать интеллектуальные информационные технологии. Разработанные программные системы позволяют пользователю, не обладающему профессиональными знаниями в области ИИТ, НС, эволюционного моделирования, получать решения для конкретных практических задач. Теоретические и практические результаты реализованы в виде программных модулей, позволяющих проверить работоспособность разработанных алгоритмов.

Полученные в диссертационной работе результаты внедрены в учебный процесс кафедры «Компьютерные системы и сети» Калужского филиала МГТУ им. Н. Э. Баумана, кафедры «Прикладная? информатика» Калужского филиала Российского государственного гуманитарного университета при чтении лекций и проведении лабораторных занятий по курсам «Нейронные сети», «Информационные технологии», «Модели и алгоритмы обработки информации», использованы при выполнении работ по проектированию и оптимизации компьютерных систем в НПФ «Эверест» (г. Калуга) и Калужском НИИ телемеханических устройств, а также для повышения эффективности функционирования центра информационных технологий и систем (ЦИТ и С) и ООО «Ро-синтер ресторантс» (г. Москва).

В первой главе представлен обзор и анализ современных проблем в области создания интеллектуальных информационных технологий, расширяющих возможности компьютерных систем при решении сложных прикладных задач. Отмечаются характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаченаличие недетерминизма в процессе поиска решениявысокая вычислительная сложность получения результата. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели. ИИТ, используя подходы искусственного интеллекта, позволяет даже для таких задач обеспечить решение с приемлемой точностью за приемлемое время.

Исследование программных моделирующих нейросетевых комплексов показало, что актуальной проблемой является разработка интеллектуальных компонент в составе моделирующей системы на основе не только нейросетевых, но и гибридных технологий. На основании проведенного обзора и анализа методик создания ИИТ сформулирована цель исследований и основные задачи, решением которых она достигается.

Вторая глава посвящена вопросам структурно-параметрического синтеза нейросетевой модели и организации нейросетевых баз знаний на основе предварительно обученных на решение определенной проблемы нейронных модулей.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков-использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация НС и решаемых ими задач позволила в данной работе выбрать следующие типы. НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные ИИТ, в которых интегрируются несколько информационных технологий.

Исследованы проблемы синтеза НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задачнедостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучениявысокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать ИИТ на базе НС с минимальной сложностью.

Проведено сравнение известных алгоритмов формирования топологии НС для конкретной решаемой задачи. Разработан модифицированный конструктивный алгоритм, обеспечивающий, в отличие от известного метода динамического наращивания нейронов НС, итерационный способ наращивания нейронов с учетом скорости изменения ошибки обучения Ео и одновременным обучением только части нейронов очередного слоя.

Разработанный алгоритм позволяет выявить значимые и незначимые нейроны в процессе их добавления в структуру НС, производить, обучение только для значимых нейронов-и тем самым сократить время формирования топологии НС.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W.

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation — BP) — .Для построения алгоритма обученияНС, альтернативного BPа также для разработки универсального метода формирования топологии НС проведено экспериментальное исследование генетического алгоритма (ГА).

На эффективность ГА в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения влияют методы кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции и механизм построения начальной популяции, вид функции качества Fit, типы генетических операторов — мутации, кроссинговера, селекции и отбора хромосом.

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (робертсоновские транслокации,), селекции («дальнее» и «ближнее» родство"), отбора («мягкая» схема). Полученные рекомендации использованы при конструировании генетических алгоритмов для обучения НС.

Разработана схема многопопуляционного алгоритма, отличающаяся от известных решением проблем определения момента начала взаимодействий tv и способами обмена хромосомами между популяциями. На основе полученных результатов исследования ГА разработан*алгоритм обучения, отличный от BP. г.

Были исследованы следующие • методылокальной" оптимизации и их комбинации с ГА: метод Коши, метод Дэвидона — Флетчера — Пауэлла (ДФП) и Бройдена — Флетчера — Гольдфарба — Шанно (Broyden, Goldfarb, Shanno — -BFGS).

Были исследованы комбинированные методы оптимизации на основе ГА и локальных методов оптимизации. Применение комбинированных моделей позволило разрабатывать алгоритмы обучения НС, обладающие высокой скоростью сходимости с одновременным, повышением' вероятности нахождения* глобального экстремума (ошибка распознавания уменьшается примерно на' 10%).

Разработан^ алгоритм, интерпретации результатов работы. НС. Проблема использования НС в ИИТ заключается в том, что итогом обучения НС являет-сяv числовой вектор весовых коэффициентов* W, который трудно интерпретировать. В диссертации решение задачи интерпретаций получено на основе разработки оригинального алгоритма формирования нечеткой, базы знаний по примерам, который на основе заданной обучающей выборки позволяет формировать продукционные правила IF — THEN. Исследована проблема устранения конфликтов при создании базы знаний.

Третья глава посвящена повышению эффективности использования нейросетевых и гибридных моделей в ИИТ.

Предложен алгоритм построения адаптивного ГА, т. е. такого алгоритма (внутреннего), параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА: тип оператора кроссинговера, тип оператора мутации, тип оператора селекции, тип оператора отбора, размер популяции. На втором этапе на каждой итерации работы внешнего ГА для оценки качества каждой хромосомы происходит функционирование внутреннего ГА с параметрами, выбранными на данной итерации.

Разработан комбинированный алгоритм обучения НС: на основе генетического алгоритма, и алгоритма имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять типы и вероятность применения генетических операторов на различных этапах поиска минимума с целью снижения^ временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации ошибки обучения Ео управляющего параметра «температуры» t, который постепенно уменьшаясь по заданному закону, позволяет стабилизироваться’Ео в состоянии минимума. В отличие от известных комбинированных алгоритмов на основе ГА и АИО в предложенном варианте используются новые исследованные в работе генетические операторы, позволяющие* учитывать состояние среды поиска.

Проведен сравнительный анализ нейросетевых моделей с традиционными классификаторами на основе методов кближайших соседей и потенциальных функций.

Предложены и программно реализованы усовершенствованные нейросе-тевые классификаторы персептронного типа, позволяющие устранить выявленные недостатки алгоритма обратного распространения ошибки BP: медленную сходимость и возможность блокировки сети. Для решения этой проблемы в работе предложен метод автоматической подстройки параметров обучения НС на основе методов нечеткой логики. Идея подхода заключается, в том, чтобы величина скорости обучения не оставалась постоянной на протяжении всей процедуры обучения, а изменялась в процессе работы алгоритма BP, в зависимости от определенных условий.

Четвертая глава посвящена исследованию разработанных методов и алгоритмов при решении практических задач.

Представлены результаты практической проверки эффективности разработанных и исследованных в диссертации нейросетевых и гибридных методов и технологий на раннем этапе проектирования и моделирования компьютерных систем и сетей, и при" автоматизациишоиска информации в: сети Интернет.

Проведены эксперименты, направленные на* сравнение эффективности поиска5 документов с помощью метапоисковой: системы использующей Neuro searcher использующей НСБЗ и популярными поисковыми и метапоисковыми системамиРезультаты экспериментов подтвердили, что эффективность разработанной. метапоисковой' системы выше, чем эффективность каждой: из используемых в ее работе систем в отдельности.

Представлены результаты решения ряда важных практических задачу связанных с созданием компьютерных сетей* коммерческих организаций: (НПФ ' «Эверест»). •.

Результаты исследований позволили сформулировать следующие положения, выносимыена защиту:

1. Применение: новой формальноймодели"для-выбора, архитектуры НС, которая позволяет получить НС меньшей вычислительнойсложности: при сохранении точности решаемой: задачи.

Многопопуляционный параллельный генетический алгоритм, обеспечивающий возможность одновременного развития нескольких популяций, что позволяет повысить эффективность эволюционного поиска минимальной ошибки обучения НС в ИИТ.

Методы и алгоритмы формирования специализированных нейросетевых баз знаний на основе предварительно обученных нейронных модулей, обеспечивающих гибкость и снижение времени на разработку основной модели НС в ИИТ.

Комплекс гибридных моделей на основе совместного использования НС, нечеткой логики и ГА, позволяющий повысить точность моделирования предметной области с помощью ИИТ.

Выводы по главе 4.

1. Проведенные исследования подтверждают, что использование нейронных сетей позволяет увеличить качество поиска информации в сети Интернет в среднем на 20%. Данный вывод сделан на основе сравнения средних оценок документов, даваемых пользователями после анализа предоставленных документов. Кроме того, количество документов, просматриваемых и оцениваемых пользователем, также постоянно сокращалось.

2. Проведено исследование, сравнивающее систему с каждой из отдельных поисковых систем и с метапоисковой системой отбирающей равное количество документов от каждой системы. Результаты исследования показали, что система, использующая НС, более эффективна по такому показателю, как усредненная оценка документов.

3. Были проведены исследования, подтвердившие преимущество НС блока над отдельными нейронными сетями.

4. Были проведены исследования, подтвердившие преимущества нейронных сетей с адаптивной подстройкой топологии над сетями с фиксированной топологией.

5. На основе разработанных методов, алгоритмов и программных средств решен ряд важных практических задач, связанных с созданием вычислительных средств, модернизацией специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ), созданием компьютерных сетей коммерческих организаций (научно-промышленная фирма «Эверест. Накопленный опыт позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации интеллектуальных информационных технологий.

ЗАКЛЮЧЕНИЕ

.

Проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методологической базы, моделей, методов, алгоритмов и программ для формирования интеллектуальной информационной технологии нового типа, обеспечивающей обучение, адаптацию и модификацию нейросетевых баз знаний к проблемной среде с учетом неполноты исходной информации.

Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных моделей в ИИТ, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и гибридных модулей обработки информации с учетом специфики предметной области. Разработаны принципы построения специализированных нейросетевых баз знаний для конкретной проблемной области и методы формирования нейронных сетей на основе предварительного обучения базовых нейросетевых и гибридных модулей, обеспечивающих их модификацию, обучение и адаптацию к решаемой задаче.

Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back PropagationBP), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно:

• на основе анализа естественных природныхмеханизмов эволюции предложены, реализованы новые операторы селекции хромосом, кроссинго-верахромосомной мутации, отбора, которыев отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом. Проведено экспериментальное исследование влияния предложенных операторов на эффективность поиска и получены рекомендации о целесообразном их использовании в генетическом алгоритме при оптимизации функции ошибки НС;

• предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения;

• разработан, исследован и реализован двухэтапный алгоритм оптимизации, позволяющий за счет использования на первом этапе генетического алгоритма быстро локализовать область существования глобального экстремума, а на втором за счет использования локального алгоритма оптимизации повысить точность нахождения экстремума.

5. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, на основе модифицированного конструктивного подхода и генетического алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время распознавания и время обучения в НС, использующих данный модуль.

6. Создана методологическая и инструментальная среда для построения нейросетевых моделей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей в составе РШТ для конкретных приложений. С помощью разработанных программных средств решены реальные практические задачи моделирования технических систем и систем поиска информации. Таким образом, в данной работе предложено решение задачи автоматизации проектирования интеллектуальных информационных технологи на основе перспективных нейросетевых моделей, что имеет существенное значение для теории и практики1 интеллектуального анализа и обработки дан.