Исследование и разработка однородных вычислительных структур, способов организации вычислений и методики оценки их эффективности для реализации нейронных сетей

Актуальность проблемы. В настоящее время, для решения большого круга задач в таких областях, как управление промышленными объектами, распознавание образов, моделирования, получение экспертных оценок и т. д., получают широкое применение специальные параллельные вычислительные структуры, ориентированные на выполнение алгоритмов, представленных в нейросетевом базисе. Такие вычислительные структуры принято называть — нейровычислительными (НВС). С точки зрения вычислительной технике нейровычислительная структура — это вычислительная структура с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей межпроцессорными элементами [4].

При практической реализации наибольшее распространение ползЛил аппаратно-программный способ технической реализации НВС. Промышленными реализациями таких структзф являются НВС с общей шиной данных: CNAPS 2.1.1, разработанный фирмой Adaptive Solutions и WSI Net 2.1.2- разработанная фирмой Хитачи и нейровычислительные структуры с кольцевой шиной данных: SPRINT, разработанные в Liveraiore National LaboratorySNAP, разработанная фирмой HNC и SYNAPSE-X разработанная фирмой Simens. Основное различие в НВС с общей и кольцевой шиной данных заключается в различных способах организации шин передачи данных и в типе модели нейронной сети (НС), которая реализована в этих структурах и особенностями их схемотехнической реализации [4, 83, 89−99].

При разработке НВС проводится комплекс работ, включающих в себя выбор способов реализации структуры, выбор модели НС и способов ее реализации. Анализ известных работ Галушкина А. И., Власова А. И., Уссермена Ф., Пирса, и других авторов показывает, что наиболее подробно сегодня исследованы вопросы технической реализации НВС и математических моделей НС. В тоже время не исследованы в полном объеме вопросы эффективной организации вычислительных процессов в НВС, их архитектура и ее влияние на сложность вычислений, отсутствуют методики оценки сложности реализации математических моделей НС в НВС с определенной схемотехнической организацией. Кроме этого, влияние на производительность НВС оказывает выбор способов организации вычислительного процесса. Вопросы эффективной организации вычислений в параллельных вычислительных системах исследованы в работах Прангишвили И. В., Энслоу Ф. Г., Медведева И. Л. и ряда других авторов, которыми исследован ряд теоретических положений по данной проблеме, предложены способы организации вычислительного процесса [64, 66, 67]. В тоже время, подобные исследования для нейровычислительных структур отсутствуют.

В связи с этим как в практическом, так и в теоретическом аспектах актуальной проблемой является исследование и разработка способов организации НВС, способов эффективной организации вычислений, методик оценки сложности вычислений и сложности реализации НС в НВС с различной архитектурой.

Цель диссертационной работы состоит в исследовании и разработке способов организации и методов оценки эффективности вычислений в НВС с шинной архитектурой, способов реализации в таких структурах математических моделей НС и способов их схемотехнической реализации.

Предметом исследования являются способы организации НВС с шинной организацией, способы организации и методики оценки сложности нейровычислений в таких структурах, математические модели НС «Однослойный персептрон», «Макснет», «Хопфилд», «Хемминг», «Обратного распространения ошибки», методики оценки сложности их реализации в НВС с шинной организацией, способы повышения быстродействия НВС и эффективности нейровычислений.

Для достижения поставленной цели решаются следующие задачи.

1. Исследование современных концепций построения и способов организации НВС, методов реализации нейровычислений и способов оценки их эффективности в НВС с общей и кольцевой шиной.

2. Исследование и разработка способов организации вычислительных процессов в НВС с общей и кольцевой шиной данных.

3. Исследование способов организации вычислительных процессов в НВС с общей и кольцевой шиной данных при реализации НС.

4. Разработка методики оценки временной сложности выполнения арифметических операций в НВС с общей и кольцевой шиной передачи данных.

5. Разработка методики оценки временной сложности реализации нейронных сетей в НВС с общей и кольцевой шиной данных.

6. Разработка схемотехнических решений НВС для эффективной реализации нейровычислений на основе арифметических операций.

Методы исследования основаны на использование теории Марковских процессов, теории массового обслуживания, теории графов, теории алгоритмов и теории проектирования вычислительных структур и сред, теории нейровычислений.

Научная новизна результатов диссертационной работы в целом заключается в развитии положений теории вычислений в НВС: способов построения и организации вычислений в НВС, способов построения и организации одномерных НВС с общей и кольцевой шиной передачи данных:

1.Исследование современных концепций построения и способов организации НВС, математических моделей НС, методов реализации нейровычислений и способов оценки их эффективности в НВС с общей и кольцевой шиной.

2. Исследование и разработка способов организации вычислительных процессов в.

НВС с общей и кольцевой шиной данных.

3. Разработка методики оценки временной сложности выполнения арифметических операций в НВС с общей и кольцевой шиной передачи данных.

4. Разработка методики оценки временной сложности реализации нейронных сетей в.

НВС с общей и кольцевой шиной данных.

5. Разработка схемотехнических решений НВС для эффективной реализации нейровычислений на основе арифметических операций.

Практическая ценность работы заключается в разработке новых способов организации однородных вычислительных структур и способов нейровычислений. Полученные результаты позволяют при технической реализации таких структур получить более быстродействующие нейровычислительные стр}лктуры.

Реализация и внедрение. Диссертация является теоретическим обобщением научно-исследовательских работ, выполненных автором в Пензенском государственном университете. Теоретические результаты работы применялись при разработке специализированного программного обеспечения на предприятии ЗАО «Золотая Линия», о чем имеется акт внедрения.

По результатам исследований предложено техническое решение, защищенное патентом на изобретение РФ №G06F15/163.

Разработанные в диссертационной работе теоретические положения и инженерно-технические методики введены в учебную программу подготовки студентов по специальности 22.04.00. «Математическое обеспечение и применение ЭВМ» и используются при практических занятиях на кафедре МО и ПЭВМ" в Пензенском государственном университете.

Апробация работы. Результаты работы обсуждались и докладывались на научно-технических конференциях: XXV Международная конференция. IT+SE'98,1998 г., г. ГурзуфIII Международная научно-техническая конференция «Новые информационные технологии и системы» 1998 г., г. ПензаIV Международная научно-техническая конференция «Логико-математические методы в технике, экономике и социологии. 1999., г. Пенза.

Публикации. Основные результаты диссертационной работы опубликованы в двух статьях, 7 тезисах докладов. По материалам работы ползлен патент РФ №G06F15/163.

Основные научные положения, выносимые на защиту.

1. Методика и формальные выражения для оценки временной сложности выполнения арифметических операций с фиксированной точкой в однородных НВС с общей и кольцевой шиной данных, отличающиеся тем, что в полученных выражениях учитываются такие системные характеристики, как разрядность и объем обрабатываемых данных, физическая организация данных, схемотехнические особенности НВС.

2. Методика оценки и формальные выражения для оценки временной сложности вычислений при реализации НС в однородных НВС с общей и кольцевой шиной данных. Подобные методики в настоящее время отсутствуют.

3. Структурно-функциональная организация однородных вычислительных структур с общей и кольцевой шинами данных, предназначенных для нейровьгчислений на базе арифметических операций с фиксированной точкой, отличающиеся тем, что за счет оригинальной организации в предлагаемых структурах обеспечиваются вычисления с векторной разрядно-последовательной схемой организации данных и используется новое техническое решение арифметико-логического модуля в составе нейропроцессоров.

Структура и объем работы. Диссертационная работа состоит из введения, четырех разделов с выводами, заключения, списка литературы, включающего ПО наименований и двух приложений. Основная часть работы изложена на 146 страницах. Работа содержит 67 рисунков и 22 таблицы.

4.3 Основные результаты и выводы.

Основными результатами данного раздела является разработка функциональных узлов, позволяющих увеличить эффективность выполнения вычислений и расширить функциональные возможности в НВС с шинной архитектурой. Разработаны способы технической реализации НВС с общей и кольцевой шиной данных, обеспечивающие более высокую скорость вычислений по сравнению с исходными нейровычислительными структурами. Получены следующие результаты:

• Разработана схема включения в структурную схему НВС с общей и кольцевой шин данных дополнительного блока, позволяющего использовать в НВС с общей и кольцевой шиной данных ускоренные типы арифметических операций.

• Разработан блок преобразования данных и схема его включения в структурную схему НВС с общей шиной. Блок преобразования позволяет осуществлять преобразование входных данных с любым способом организации данных, к векторной раз-рядно-последовательной схеме размещения и осуществление обратного преобразования к исходной схеме организации данных. Основным достоинством разработанного блока, является простота технической реализации по сравнению с арифметико-логическими устройствами входящими в состав ЭНП.

• Разработан процессорный модуль, предназначенный для замены арифметико-логических устройств, входящих в состав ЭНП. Модуль выполняет вычисления в базисе булевой алгебры и обладающий возможности реализации логической функции любой сложности. Применение такого процессорного блока позволяет создавать НВС с расширенными функциональными возможностями.

Заключение

.

В результате проведенных в диссертационной работе исследовательских работ решены научно-технические задачи, заключающиеся в разработке методики оценки сложности нейровычислений в однородных вычислительных структурах с шинной организаций и предложены способы повышения эффективности в таких структурах.

1. Проведено исследование способов технической реализации однородных вычислительных структур для нейровычислений. Показано, что наибольшее распространение получили нейровычислительные структуры с шинной организацией реализуемые аппаратно-программным способом.

2. Проведен комплексный анализ методов оценки эффективности вычислений в нейро-вычислительных структурах с шинной организацией. Показано, что для оценки эффективности целесообразно использовать оценки их временной сложности.

3. Проведен комплексный анализ способов организации вычислений в нейровычисли-тельных структурах с шинной организацией. Показано, что увеличение быстродействия нейровычислительной структуры можно достичь за счет использования специальных способов организации данных и повышения скорости арифметических вычислений.

4. Разработана методика оценки сложности реализации вычислений в одномерных вычислительных структурах. Методика позволяет оценить временную сложность выполнения нейровычислительных алгоритмов в нейровычислительных структурах с шинной организации с учетом физической организации данных и структзфной организации нейровычислительной структуры.

5. Получен набор аналитических выражений для количественной оценки временной сложности выполнения арифметических операций умножения, сложения и деления с фиксированной точкой в нейровычислительных структурах с шинной организацией. На основе полученных оценок определены способы эффективной организации вычислений в однородных одномерных вычислительных структурах с шинной архитектурой.

6. Разработана методика и получены аналитические оценки сложности реализации нейронных сетей «Однослойный персептрон», «Хопфилд», «Обратное распространение», «Макснет» в нейровычислительных структурах с общей и кольцевой шиной. Данная.

125 методика позволяет получить количественные оценки временной сложности реализации нейронных сетей в нейровычислительных структурах в зависимости от их схемотехнической организации.

7. Разработаны структурные и схемотехнические решения для нейровычислительных структур с шинной организацией, позволяющие повысить эффективность нейровы-числений за счет использования иных способов организации данных и ускоренных типов арифметических операций и расширить функциональные свойства нейровычис-лительных структур с шинной организацией.