Разработка моделей и средств групповой экспертной оценки качества организационно-технических решений в сложных предметных областях

Усложнение социально — экономической среды жизнедеятельности человека все более затрудняет и делает практически невозможным процесс принятия решений одним человеком при рассмотрении всех аспектов сложных проблем. Последнее десятилетие ознаменовалось признанием факта возрастания роли группового принятия решений в сложных предметных областях, характеризующихся высокой степенью неопределенности, связанной с их слабоструктурированностью, неполнотой, нечеткостью и большими объемами исходной информации. В таких областях сложна формализация задач и велика роль интуиции экспертов.

Основная проблема принятия сложных организационно-технических решений (OTP), требующих многокритериальной экспертной оценки, заключается в превышении объема информации об анализируемых объектах над физическими возможностями субъектов процесса принятия решений по ее обработке. При принятии ответственных решений, когда цена ошибки достаточно высока, исключение из учета даже части существенных показателей качества является недопустимым. Возникает необходимость в средствах, позволяющих перевести процесс принятия решений из интуитивной плоскости в логическую и дающих возможность сбора и обработки как больших объемов информации различных видов, так и личных предпочтений участников процесса принятия решений.

В настоящее время научное направление, связанное с разработкой методов и средств групповой технологии экспертизы OTP, является одним из наиболее динамично развивающихся в рамках проблем искусственного интеллекта в его разделах, ориентированных на решение задач кооперативного принятия решений в распределенных компьютерных средах.

К числу требований, предъявляемым к компьютерным системам оценки качества OTP, можно отнести: совместное использование формальных и интуитивных методов принятия решенийвзаимодействие с пользователями на естественном языкеиспользование интерфейса с различными типами визуализации информации.

К областям применения групповых экспертных оценок можно отнести экспертизу научно-технических, экономических, инвестиционных конкурсных проектовоценку качества продукции на каждом этапе жизненного циклаоценку технологий и бизнес-процессов. Под объектом экспертизы понимается совокупность альтернативных OTP, описываемых множеством количественных и качественных показателей.

Развитие и модификация существующих методов и разработка компьютерных средств поддержки принятия решений при групповой экспертной оценке качества OTP в процессе научных исследований, проводимых в различных сложных предметных областях, является важной и актуальной задачей данного научного направления.

Цель работы. Целью настоящей диссертационной работы является разработка информационных, алгоритмических и программных моделей распределенной компьютерной среды групповой экспертной оценки качества альтернативных OTP, характеризующихся множеством количественных и качественных показателей, с целью повышения эффективности процесса экспертизы за счет снижения доли субъективности в общей экспертной оценке, всестороннего учета информации о показателях альтернатив и личных предпочтениях участников процесса принятия решений, обеспечения контроля согласованности экспертных оценок и сокращения сроков формирования промежуточных и окончательных решений.

В соответствии с поставленной целью в диссертационной работе формулируются и решаются следующие задачи:

1. Классификация методов и автоматизированных средств проблемной области с целью обоснования требований и разработки функциональной структуры распределенной компьютерной среды групповой экспертизы OTP.

2. Разработка и исследование комплекса информационных и алгоритмических моделей проблемной области, ориентированных на создание сценариев групповой экспертизы OTP.

3. Разработка архитектуры распределенной компьютерной среды групповой экспертизы OTP, основанной на технологии многоагентных систем.

4. Разработка интерфейса компьютерной среды, обеспечивающего открытость к интеграции с другими приложениями.

5. Разработка методического обеспечения решения задачи групповой экспертизы OTP на основе полученных теоретических и практических результатов.

Научная новизна результатов диссертации состоит в следующем:

1. Разработана информационная модель проблемной области «Групповая экспертная оценка качества OTP», включающая понятия «задание», «экспертная группа», «альтернативные OTP», «сценарий» и их отношения.

2. Предложен типовой сценарий групповой экспертной оценки OTP, включающий этапы формирования частных предпочтений экспертов и этапы их агрегирования в групповые решения с оценкой согласованности частных предпочтений, что позволяет контролировать согласованность итогового решения на всех этапах сценария для обеспечения его достоверности.

3. Разработаны алгоритмические модели проблемной области, базирующиеся на принципах измерения частных предпочтений экспертов, контроля их согласованности и агрегирования частных предпочтений в групповое решение.

4. Для иерархической структуризации показателей качества предложена формальная процедура, основанная на функции вычисления коэффициента связности единичного показателя данного уровня иерархии с обобщенным показателем вышестоящего уровня, и функции вычисления потери коэффициента связности при переносе единичного показателя от одного обобщенного показателя к другому в пределах уровня.

5. Разработана архитектура распределенной многоагентной компьютерной среды, поддерживаемая средствами стандартного сетевого аппаратно-программного обеспечения, что позволяет реализовать согласованную и одновременную работу территориально удаленных друг от друга экспертов в режимах on-line / off-line и обеспечивающая открытость к интеграции со стандартными приложениями Microsoft Windows (MS Graph, MS Excel) посредством механизма DDE и возможность доступа к данным различных форматов посредством интерфейса ODBC.

Практическая ценность диссертации состоит в следующем:

1. На основе предложенных в работе моделей разработано программное обеспечение распределенной компьютерной среды групповой экспертизы ОТР, позволяющее получать согласованные экспертные оценки и итоговое ранжирование ОТР в различных предметных областях.

2. Разработан редактор сценариев экспертизы ОТР, позволяющий настраиваться на решение прикладных задач из различных предметных областей.

3. Использование разработанной компьютерной среды обеспечивает сокращение сроков и трудоемкости экспертизы ОТР благодаря эффективному взаимодействию членов экспертной группы, чьи усилия объединены общими информационными и методическими ресурсами в рамках выбранного сценария.

4. Разработанные текстовые и графические средства визуализации как частных предпочтений экспертов, так и итоговых результатов делают открытым для анализа весь процесс экспертизы, что повышает степень доверия к нему.

5. Использование разработанной компьютерной среды в учебном процессе позволяет обеспечить подготовку и переподготовку специалистов на базе интенсивных форм обучения.

В первой главе определяется понятие организационно-технического решения сложной предметной области, приводятся его основные характеристики как объекта оценки качества. По результатам анализа теоретических основ, методов и средств принятия решений в сложных предметных областях обосновывается необходимость комплексного применения трех основных групп методов (интуитивных, комбинированных и математических) на различных этапах процесса оценки качества альтернативных ОТР.

По данным сравнительного анализа отечественных и зарубежных аналогов компьютерных систем оценки качества и выбора альтернативных решений определено место, назначение, области применения, круг пользователей, задачи и принципы реализации компьютерной среды групповой экспертизы ОТР.

Определены следующие основные требования. Компьютерная среда предназначена для поддержки групповой работы экспертов во главе с руководителем при оценке качества и ранжировании альтернативных ОТР. Ее использование целесообразно на финальных этапах принятия решений, когда определены альтернативные варианты и их показатели. К основным задачам компьютерной среды можно отнести отображение интуитивного процесса принятия решений на формализованную плоскость, предоставление возможности обработки больших объемов информации различных видов, предоставление средств сбора и обработки личных предпочтений субъектов принятия решений.

На основе анализа современных аппаратно-программных коммуникационных средств обоснована архитектура распределенной многоагентной компьютерной среды, поддерживающая кооперативную работу удаленных пользователей. Формулируется необходимость ориентации базовых принципов реализации среды на создание Internet — приложения, что позволит существенно расширить возможности коммуникации удаленных пользователей, компьютерное оснащение которых базируется на разных операционных платформах.

Таким образом, в первой главе определены основные стороны групповой технологии экспертизы OTP (распределенная компьютерная среда и пользователи различных категорий как субъекты процесса принятия решений) и основные составляющие технологии (методологическая, программная, техническая).

Во второй главе разработаны модели формирования групповых решений и контроля согласованности частных мнений экспертов. Результатом теоретических исследований в области методологии групповой экспертной оценки качества OTP явилась разработанная совокупность моделей, описывающих проблемную область «Групповая экспертная оценка качества OTP» и методологически поддерживающих групповую технологию экспертизы OTP. В состав данной совокупности моделей входит информационная модель проблемной области, задающая основные понятия и их отношения, и множество алгоритмических моделей, определяющих сценарии групповой технологии экспертизы OTP.

За основу групповой технологии экспертизы OTP принимается типовой сценарий, состоящий из чередования этапов формирования частных предпочтений экспертов и согласования результатов внутри группы. Для формирования сценариев, ориентированных на специфику предметной области, предназначены предложенные в работе атрибуты: шкалы для измерения предпочтений экспертов, функции нормировки частных предпочтений, функции согласования частных предпочтений, функции агрегирования частных предпочтений в групповые решения.

Таким образом, во второй главе разработаны информационная и алгоритмические модели проблемной области, представляющие собой методологическую составляющую групповой технологии экспертизы OTP.

В третьей главе разработана программная модель групповой технологии экспертизы OTP. Предложена архитектура распределенной многопользовательской компьютерной среды, предназначенная для реализации групповой технологии экспертизы OTP. В основу разработанной архитектуры положены базовые принципы организации многоагентных систем, в настоящее время оцениваемые как наиболее перспективные для создания компьютерных сред подобного класса.

Основными составляющими архитектуры являются агенты и информационные ресурсы, представленные распределенными реляционными базами данных. Различаются три типа агентов, предназначенных для поддержки взаимодействия пользователей в процессе сценарной реализации групповой технологии экспертизы OTP: агент руководителя, агент эксперта и агент-координатор. Обобщенная формальная модель агента представлена отношениями на множествах коммуникационных и функциональных атрибутов, что обеспечивает его автономность и активность в гетерогенной среде. Целевой функцией агента служит образ задания.

Информационные ресурсы среды сосредоточены на групповом и локальном уровнях архитектуры. Данные уровни характеризуются взаимной непрозрачностью, что обеспечивает комфортность работы пользователей, возможность многократного пересмотра частных предпочтений, редактирование результатов.

Основным принципом генерации локальных информационных ресурсов среды, содержащих частные экспертные оценки, является принцип наследования с помощью системы шаблонов. Соответственно информационные ресурсы на групповом уровне содержат агрегированные экспертные оценки (групповые решения), формирующиеся в рамках сценария.

Таким образом, в третьей главе разработана программная модель проблемной области как составляющая групповой технологии экспертизы OTP, удовлетворяющая требованиям интеграции в состав комплексных информационных систем.

В четвертой главе представлена реализация компьютерной среды групповой экспертизы OTP. Предложены общие принципы организации пользовательского оконного интерфейса, приведен алгоритм типового сценария работы различных пользователей в среде, определено назначение редактора сценариев, предложены средства интеграции с другими приложениями, определены характеристики технических средств среды, дан ретроспективных анализ версий компьютерной среды групповой экспертизы OTP и перспективы развития.

Алгоритм типового сценария взаимодействия пользователей в распределенной компьютерной среде предназначен для реализации групповой технологии экспертизы OTP. Сценарий обеспечивает эффективное и дружественное взаимодействие двух сторон групповой технологии экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий (руководителя и экспертов). В зависимости от задач предметной области и исходных данных типовой сценарий может быть модифицирован с помощью редактора сценариев путем выбора на множестве атрибутов сценариев.

В соответствии с разделением полномочий пользователей разработан оконный интерфейс распределенной компьютерной среды. Действия руководителя ассоциированы с групповым уровнем компьютерной среды, действия экспертов — с локальным. Взаимодействие пользователей со средой обеспечивают соответствующие агенты посредством функционально-ориентированного интерфейса. Основным требованием к оконному интерфейсу является представление информации на языке предметной области в текстовом и графическом виде. Для выполнения этого требования оконный интерфейс снабжен средствами интеграции со стандартными офисными приложениями (Microsoft Excel, Microsoft Access, Microsoft Graph), что позволяет пользователю при необходимости работать в привычной среде, иметь доступ к данным других форматов, анализировать графическое представление информации.

Разработанные версии среды предназначены для работы на IBM-совместимых персональных компьютерах различной конфигурации от компьютера АТ-486 с операционной системой DOS до Pentium с Microsoft Windows NT. Первая версия среды, имеющая DOS — ориентированный интерфейс, разработана на базе компилятора СУБД FoxPro 2.0- Windows-ориентированные версии — на базе FoxPro 2.6 и FoxPro 5.0. Распределенный характер среды обеспечивается средствами стандартного сетевого аппаратно-программного обеспечения.

Таким образом, в четвертой главе представлено взаимодействие двух сторон групповой технологии экспертизы ОТР: распределенной компьютерной среды и пользователей различных категорий как субъектов процесса принятия решений. Определены характеристики средств реализации технической составляющей групповой технологии экспертизы ОТР: IBM-совместимые персональные компьютеры различной конфигурации, стандартное сетевое аппаратно-программное обеспечение, архитектура клиент-сервер.

В пятой главе приведены результаты исследований разработанной групповой технологии экспертизы ОТР в различных предметных областях. Представлены результаты экспериментов, проведенных совместно с другими специализированными компьютерными приложениями, и их сравнение с независимыми результатами, полученными с помощью существующих аналогов.

К предметным областям, в рамках которых проводились исследования, относятся: оценка заявок на стадии формирования сводного плана НИОКРоценка и выбор электромеханических модулей двойного назначенияоценка показателей целесообразности внедрения электронного документооборота в рассматриваемой системе управления предприятием.

Внедрения разработанных моделей и средств групповой экспертной оценки качества ОТР в различные предметные области, характеризующиеся как сложные, позволили провести эксперименты на реальных данных, оценить достоверность полученных результатов путем сравнения с результатами соответствующих аналогов, выявить достоинства и недостатки разработки.

Наряду с полученными результатами экспериментов в процессе проведенных исследований разработаны соответствующие типовые структуры показателей качества, шкалы значений качественных показателей, введены функции поиска, сортировки и фильтрации по классификационным показателям, характерным для аналогов технических систем, накоплены фактические данные по экспертным оценкам.

В заключении приведены основные результаты работы, их научная и практическая ценность, намечены перспективные направления развития данной разработки.

В Приложения вынесены: инструкция пользователя распределенной многопользовательской версии компьютерной среды «MultiExpert», структура основных баз данных, демонстрационные примеры оценки качества ОТР.

5.4 Выводы по главе.

1. Для тестирования работоспособности компьютерной среды групповой экспертизы ОТР и проверки достоверности итоговых результатов были проведены эксперименты совместно с другими специализированными компьютерными приложениями, результаты которых сравнивались с независимыми результатами, полученными с помощью существующих аналогов.

Ill.

2. Эксперименты подтвердили возможность интеграции разработанных версий компьютерной среды групповой технологии экспертизы OTP с другими информационными системами, что доказывает соответствие разработанных средств современным требованиям информационных технологий.

3. При разработке интегрированной технологии экспертизы заявок на НИОКР возможности распределенной компьютерной среды групповой экспертизы OTP были дополнены средствами сетевого обмена данными разных форматов через интерфейс ODBC. Эти возможности позволяют адаптировать компьютерную среду к другим информационным системам, что повышает потребительскую стоимость разрабатываемых версий среды.

4. Эксперименты подтвердили адекватность подходов и разработанных моделей задачам проблемной области. В процессе оценки показателей целесообразности внедрения электронного документооборота в систему организационного управления предприятием с помощью разработанной компьютерной среды был проведен сеанс групповой экспертизы при участии 20 экспертов. Получены более точные и подробные результаты по сравнению с аналогом.

5. Необходимость решения задачи выбора электромеханической системы двойного назначения позволило расширить функциональные возможности версии компьютерной среды средствами поиска и фильтрации на множестве данных, формирования запросов, что позволяет говорить о выполнении требований, предъявляемых к информационно-поисковым системам.

ЗАКЛЮЧЕНИЕ

.

Использование современных информационных технологий для оценки качества продукции, технологий, бизнес-процессов, объединяемых общим понятием организационно-технические решения (OTP), может способствовать решению задачи непрерывного повышения уровня качества. Процесс оценки и управления качеством реализуется в слабоструктурированных предметных областях, где сложна формализация процесса и велика роль интуиции экспертов, требуется анализ больших объемов количественной и качественной информации, осложнено детальное описания процесса принятия решений, существенны временные ограничения, возможно появление новых ситуаций. Наличие высокой степени неопределенности, вызываемой сложностью и естественной стохастикой таких предметных областей, требует использования групповых технологий экспертизы решений, базирующихся на соответствующих интегрированных компьютерных средствах, разработанных в классе систем поддержки принятия решений.

Одним из подходов к решению данной задачи является предложенная в настоящей диссертационной работе групповая технология экспертной оценки качества сложных OTP, базирующаяся на методологической, программной, технической составляющих и обеспечивающая дружественное взаимодействие двух сторон процесса экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий (руководителя и экспертов).

В диссертационной работе разработан и внедрен комплекс проблемно-ориентированных моделей групповой экспертной оценки качества OTP в сложных предметных областях. При этом получены следующие результаты:

1. Разработана совокупность моделей, описывающих проблемную область «Групповая экспертная оценка качества OTP», которая послужила методологической основой групповой технологии экспертизы OTP. В состав данной совокупности моделей входит информационная модель проблемной области, задающая основные понятия и их отношения, и множество алгоритмических моделей, определяющих сценарии групповой технологии экспертизы OTP.

2. Разработана программная модель распределенной многопользовательской компьютерной среды как составляющая групповой технологии экспертизы OTP. В основу данной модели положены базовые принципы организации многоагентных систем, позволяющие интегрировать приложения, разработанные на базе данной программной модели, в состав комплексных информационных систем.

3. Определены характеристики средств реализации технической составляющей групповой технологии экспертизы OTP: IBM-совместимые компьютеры, стандартное сетевое аппаратно-программное обеспечение, архитектура клиент-сервер.

4. Разработан алгоритм взаимодействия двух сторон групповой технологии экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий как субъектов процесса принятия решений.

5. Проведены исследования разработанной групповой технологии экспертизы OTP в различных предметных областях: оценка заявок на стадии формирования сводного плана НИОКРоценка и выбор электромеханических модулей двойного назначенияоценка показателей целесообразности внедрения электронного документооборота в рассматриваемой системе управления предприятием.

6. Внедрения разработанных моделей и средств групповой экспертной оценки качества OTP в различные предметные области, характеризующиеся как сложные, позволили провести эксперименты на реальных данных, оценить достоверность полученных результатов путем сравнения с результатами соответствующих аналогов, выявить достоинства и недостатки разработки.

К практической ценности работы можно отнести:

1. Разработанные средства групповой технологии экспертной оценки качества OTP позволяют оценивать степень согласованности экспертных оценок и получать согласованное итоговое ранжирование OTP.

2. Разработанный редактор сценариев экспертизы OTP позволяет настраиваться на решение прикладных задач из различных предметных областей.

3. Применение разработанной групповой технологии снижает долю субъективного фактора в итоговых решениях, обеспечивает сокращение сроков и трудоемкости экспертизы OTP благодаря эффективному взаимодействию членов экспертной группы, чьи усилия объединены общими информационными и методическими ресурсами в рамках выбранного сценария.

4. Разработанные текстовые и графические средства визуализации как частных предпочтений экспертов, так и итоговых результатов делают открытым для анализа весь процесс экспертизы, что повышает степень доверия к нему.

Результаты проведенных исследований нашли практическое применение в следующих разработках:

1. В проекте Федеральной целевой программы «Информатизация России» (проект «Разработка технологии и многоагентной среды для интеллектуального управления конфигурацией информационных систем при сценарном реинжиниринге организаций», № госрегистрации 037.02.236.132/1−96, 01.01.96 г. — 30.06.98 г.).

2. В проекте Федеральной целевой программы «Перспективные информационные технологии» (проект «Разработка многоагентной среды интеллектуального управления конфигурацией сложных объектов с динамически изменяемой структурой» № госрегистрации 01.960.0 7 979, 01.01.96 г. — 31.12.97 г.).

3. Адаптированная к потребностям заказчика система «ЭКСПЕРТ» передана в эксплуатацию по хозяйственному договору № 21−80/25−97 от 28.04.97 г. Комитету экономики и промышленной политики Администрации Санкт-Петербурга.

4. В СПИИРАН при проведении НИР «Разработка принципов построения и структуры автоматизированной системы оценки качества научно-технической продукции, изделий и технологий двойного назначения» (Шифр «Безопасность»). № госрегистрации 01.9.30 9 102.

5. В Институте системных исследований Польской Академии наук в рамках договора о научном сотрудничестве от 30.06.97 г.

6. В Санкт-Петербургском государственном техническом университете на кафедре «Экономика и менеджмент в машиностроении» в рамках учебного курса «Компьютерные технологии в экономике и менеджменте».

Проведенные научные исследования выполнены в СПИИРАН в рамках плановых НИР, проводимых по заданиям Федеральных целевых программ «Информатизация России» и «Перспективные информационные технологии», а также в рамках протокола о научном сотрудничестве между Российской и Польской академиями наук на 1996;1998 гг. п. 3 тематического плана и на 1999;2001 гг. п. 57 тематического плана.