Системный анализ текстового представления таксономии и разработка моделей для оценки профессиональных знаний с использованием тестов открытого типа

Актуальность проблемы. Современная промышленность имеет сложную диверсифицированную многоотраслевую структуру и характеризуется высоким уровнем специализации производства. При этом наблюдается устойчивая тенденция к усложнению технологических процессов и задействованных в них средств производства. В результате этого важнейшим стратегическим ресурсом производства становятся профессиональные знания. Данное обстоятельство требует подготовки специалистов, обладающих необходимым уровнем профессиональных компетенций, которые определяются как соответствие знаний, умений и производственного опыта в рамках определенной профессиональной квалификации реальному уровню сложности выполняемых работ. Вследствие этого подготовка квалифицированных кадров и совершенствование их знаний отнесены к числу высших приоритетов государства, что отмечено в проекте документа «Основы политики Российской Федерации в области развития науки и технологий на период до 2020 года и дальнейшую перспективу» [5]. Следует также отметить и то, что растет число предприятий, эксплуатирующих опасные производственные объекты. Неквалифицированные действия специалистов на таких предприятиях могут привести к производственным инцидентам с весьма значительными последствиями, в том числе и катастрофического характера. Поэтому деятельность промышленных предприятий регулируется федеральным законом «О промышленной безопасности опасных производственных объектов» (№ 116-ФЗ, 21 июля 1997 г.) [6]. Согласно этому закону, предприятия должны осуществлять аттестацию работников, чтобы обеспечить допуск к опасным производственным объектам лиц, удовлетворяющих необходимым квалификационным требованиям.

Следовательно, кадровая политика любого промышленного предприятия становится неотъемлемой частью организационного управления и, будучи тесно увязана со всеми направлениями работы, превращается в один из решающих факторов его экономического развития.

Оценить степень готовности специалистов выполнять свои текущие служебные обязанности можно лишь только в ходе постоянного мониторинга их профессиональных знаний. Для этого предприятие должно уметь идентифицировать знания, требуемые для его нормальной производственной деятельности, и иметь организационные и технические возможности сравнить их с действительным состоянием знаний своих специалистов.

Формирование потенциала профессиональных знаний базируется на таксономии многообразных форм теоретических знаний и опыта работы специалистов. Таксономия — результат идентификации и структурирования знаний, это иерархическая система классификации, которая, будучи основанная на отношениях подчинения, помогает систематизировать процедуру группировки и категоризации формализованных знаний [3]. Важным свойством таксономического представления профессиональных знаний, является то, что оно способствует выявлению случаев возникновения проблем со знаниями у специалистов и позволяет связать их с определенной категорией причин.

Понимая всю значимость проверки уровня квалификации специалистов, следует иметь в виду, что промышленное производство накладывает определенные особенности на представление и оценку их профессиональных знаний. Эти особенности обусловлены как объективными факторами (непрерывным обновлением технологий, сменой номенклатуры производимой продукции, спецификой условий производства, наличием различий между предприятиями даже в рамках одной отрасли и т. п.), так и субъективными факторами (ведомственными нормативными актами, особенностями руководства и его индивидуальными установками, мотивацией работников и т. п.).

В настоящее время для оценки знаний специалистов широко применяются тестовые испытания и экспертное оценивание [9, 27]. При этом в процессе тестирования в основном используются тесты закрытого типа. Процедуру такого тестирования можно легко автоматизировать, но она не выявляет способности тестируемого к рациональному мышлению и не позволяет проанализировать ход его рассуждений. Что касается экспертного оценивания, то оно позволяет оценить весь комплекс знаний специалиста и получить представление о его компетентности принимать решения, но автоматизация такого контроля знаний затруднена из-за непосредственного участия в нем экспертов. Получить информацию насколько системно специалист владеет профессиональными знаниями можно с помощью тестов открытого типа [40, 58, 61]. Поэтому они могут быть использованы для оценки системно-организованных профессиональных знаний и умения применять их в реальных условиях производства. Однако автоматизация этих тестов приводят к необходимости анализа текстов на естественном языке, что сдерживает их применение на практике.

Таким образом, создание качественного инструментария оценки профессиональных знаний специалистов, следует рассматривать как важную, актуальную проблему современного промышленного производства.

В соответствии с вышеизложенным, целью диссертационной работы является системный анализ представления таксономии в текстах на естественном языке, разработка моделей терминологических и системно-организованных профессиональных знаний и создание на их основе алгоритмического и программного обеспечения для оценки знаний специалистов промышленных предприятий с использованием тестов открытого типа.

Для достижения поставленной цели были решены следующие задачи:

1) проведен анализ методов контроля и формализованного представления профессиональных знаний в промышленности, а также анализ методов извлечения знаний из связного текста на естественном языке и языковых средств формирования текстов данного вида;

2) проведен системный анализ текстового представления таксономии, определены его основные языковые конструкции, среди которых особое внимание уделено понятию термина как элементу языка фиксации знаний, а также исследована связь этих конструкций с представленными в них элементами знаний;

3) разработана формальная модель термина, позволяющая хранить смысловые значения терминов, которые используются при описании таксономии профессиональных знаний;

4) на основе модели термина разработана формальная модель таксономии, предназначенная для хранения совокупности смысловых значений терминов в процессе организации баз профессиональных знаний;

5) разработана методика оценки профессиональных знаний, основанная на сопоставлении смыслового содержания баз профессиональных знаний, созданных экспертами, и данных о знаниях специалистов, полученных в результате автоматизированного анализа тестов открытого типа;

6) на основе моделей термина и таксономии разработано алгоритмическое обеспечение, которое позволяет проводить анализ текстов на естественном языке, описывающих таксономию, а также рассмотрена программная реализация этих алгоритмов для автоматизированной оценки профессиональных знаний специалистов с использованием тестов открытого типа.

Методы исследования. В качестве методологической основы решения указанных задач в диссертационной работе использовались методы системного и функционального анализа, графоаналитические методы, методы представления знаний. Для подтверждения полученных теоретических результатов применялись методы экспериментальных исследований совместно с методами математического и имитационного моделирования.

Научная новизна заключается в следующем:

1) проведен системный анализ представления таксономии в виде связанных текстов, который позволил установить закономерности построения таких текстов и выявить типовые языковые конструкции, используемые для описания терминологических и системно-организованных знаний в виде иерархических структур;

2) разработана формальная модель описания терминов, отличительной особенностью которой является то, что она за счет разделения элементов сложных терминов по их семантическим ролям позволяет связать составные части терминов с их текстовым представлением;

3) разработана формальная модель описания таксономии, отличающаяся от известных тем, что она позволяет связывать системно-организованные профессиональные знания в виде иерархических структур с их представлением в тексте на естественном языке;

4) предложена методика анализа текстов на естественном языке, особенностью которой является использование синтаксических шаблонов и семантических правил для определения семантических ролей языковых конструкций текстового представления таксономических структур в соответствии с разработанными формальными моделями терминов и таксономии;

5) предложена методика оценки профессиональных знаний, отличительная особенность которой заключается в возможности сравнения знаний специалистов с формализованными знаниями, как между терминами таксономии, так и между составными частями сложного термина, что позволяет дать комплексную оценку системности знаний специалистов.

Практическая значимость работы:

1) разработанные модели терминов и таксономии позволяют экспертам представлять терминологические и системно-организованные профессиональные знания в виде баз формализованных знаний с учетом специфики производственных процессов конкретных промышленных предприятий;

2) предложенная методика анализа текста, описывающего классификацию, позволяет извлекать из него терминологические и системно-организованные профессиональные знания и осуществлять оценку знаний специалистов, путем сопоставления их с формализованными знаниями;

3) разработанное алгоритмическое и программное обеспечение может быть использовано при построении систем для автоматизированной оценки профессиональных знаний специалистов промышленных предприятий при подборе новых работников, а также в процессе повышения квалификации и проведения аттестации персонала.

Реализация результатов исследований. Диссертационная работа выполнена в соответствии с действующим координационным планом фундаментальных научных направлений деятельности ФГБОУ ВПО «Самарский государственный технический университет» (СамГТУ) в рамках темы «Системный анализ сложных технических объектов и методы обработки информации». Результаты диссертационной работы апробированы в ООО «Региональная энергетическая сервисная компания «Искра» (г. Самара). Материалы диссертационной работы также используются в учебном процессе СамГТУ в лекционном курсе и лабораторном практикуме по дисциплине «Системы искусственного интеллекта» для студентов специальности 230 102 «Автоматизированные системы обработки информации и управления».

Положения, выносимые на защиту:

1) формальная модель описания терминов, которая за счет разделения элементов сложных терминов по их семантическим ролям позволяет связать составные части терминов с их текстовым представлением;

2) формальная модель описания таксономии, связывающая системно-организованные профессиональные знания в виде иерархических структур с их представлением в тексте на естественном языке;

3) методика анализа текстов на естественном языке, основанная на построении синтаксических шаблонов и семантических правил для определения семантических ролей языковых конструкций;

4) методика оценки профессиональных знаний, позволяющая осуществлять комплексный анализ знаний специалистов в результате выполнения процедуры их сравнения с базами формализованных знаний, как на уровне терминов таксономии, так и между составными частями сложного термина.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях: Международной конференции по мягким вычислениям и измерениям (Санкт-Петербург, 2008, 2010, 2011) — Международной научно-практической конференция «Фундаментальные и прикладные проблемы приборостроения, информатики и экономики» (Сочи, 2008, 2010, 2011) — Международной научно-практической конференции «Ресурсои энергосберегающие технологии и оборудование, экологически безопасные технологии» (Минск, 2010) — Международной научно-практической конференции «Инновация-2011» (Ташкент, 2011) — Всероссийской научно-практической конференции «Наука. Технологии. Инновации» (Новосибирск, 2009) — Всероссийской научно-практической конференции «Компьютерные технологии в науке, практике и образовании» (Самара, 2010, 2011) — Всероссийской научно-практической конференции ученых и педагогов-практиков «Актуальные проблемы развития высшего и среднего образования на современном этапе» (Самара, 2008).

Основные публикации. По теме диссертационной работы опубликовано 19 работ, 5 из которых опубликованы в рецензируемых изданиях из перечня ВАК России, а также получено одно свидетельство об официальной регистрации программы для ЭВМ.

4.5 Выводы.

1. С целью гибкой организации функционирования системы для оценки профессиональных знаний специалистов сформулирован ряд требований, которые должны выполняться в процессе программной реализации ее алгоритмического обеспечения. Основные из этих требований связанны с модульной структурой построения системы, с выбором инструментария разработки прикладного программного обеспечения, со стандартизированным описанием программного интерфейса.

2. Для моделирования процесса передачи информации используются диаграммы потоков данных, как один из распространенных инструментом структурного анализа и проектирования информационных систем. Для моделирования структуры баз профессиональных знаний и промежуточных результатов обработки высказываний специалистов, используются диаграммы классов иМЬ, которые отражают различные взаимосвязи между моделируемыми сущностями, такими как объекты и подсистемы, а также описывает их внутреннюю структуру и типы отношений.

3. Разработана программная реализация системы для автоматизированного анализа и оценки таксономических знаний с использованием тестов открытого типа на основе моделирования основных этапов анализа текста на естественном языке. Прикладное программное обеспечение данной системы реализует выполнение следующих функционально самостоятельных процедур: подготовку набора входных текстовых файлов с высказываниями (результатами тестирования) — создание и редактирование морфологического словаряполный анализ текста на естественном языке, с выводом результатов анализа на каждом этапе и отображение недостающих фрагментов знаний.

4. Апробация разработанной системы оценки профессиональных знаний в процессе выборочного тестирования специалистов ООО «Региональная энергетическая сервисная компания «Искра» (г. Самара) показала, что в случае корректного распознавания материалов тестирования данная система позволяет получать в автоматизированном режиме оценки профессиональных знаний, сопоставимые с результатами экспертного оценивания.

ЗАКЛЮЧЕНИЕ

.

В диссертационной работе обоснована проблема оценки профессиональных знаний специалистов промышленного производства. В рамках этой проблемы сформулированы общие принципы, связанные со спецификой представления профессиональных знаний и их оценкой с использованием тестов открытого типа. При этом было принято во внимание, что профессиональные знания являются формализованными, и им свойственна иерархичность описания производственных процессов в виде таксономических структур. В виду того, что автоматизация тестов открытого типа требует обработки текстов на естественном языке, был проведен анализ текстового представления таксономии. Данный анализ позволил выявить основные языковые конструкции, свойственные для текстового представления таксономии, а также связать их с элементами терминологических и системно-организованных знаний. На основе результатов этого анализа были разработаны модели термина и таксономии, которые позволяют представлять профессиональные знания с учетом специфики их формирования, а также связывать их с языковыми конструкциями соответствующего им текстового представления таксономии. Эти модели послужили основой для разработки методики обработки текстового представления таксономии и оценки степени субъективного искажения формализованных профессиональных знаний при их усвоении специалистами. На основе предложенных методик разработано алгоритмическое и программное обеспечение автоматизированной системы обработки текстового представления таксономии и оценки профессиональных знаний специалистов. Практическая значимость полученных в диссертационной работе результатов подтверждается апробацией разработанной системы при экспериментальном выборочном тестировании специалистов ООО «Региональная энергетическая сервисная компания «Искра» (г. Самара) (см. Приложение Б), а также их использованием в учебном процессе ФГБОУ ВПО «Самарский государственный технический университет» (см. Приложение В).

Ниже приводятся основные результаты и выводы по работе.

1. Профессиональные знания специалистов являются формализованными, и им свойственна иерархичность описания производственных процессов в виде таксономических структур. Получить достаточно объективную оценку профессиональных знаний можно с использованием тестов открытого типа. Однако автоматизация этих тестов приводит к необходимости обработки текстов на естественном языке.

2. Системный анализ представления таксономии в тексте позволил выявить основные типовые языковые конструкции, среди которых особое внимание уделено понятию термина. Также исследована связь выявленных языковых конструкций с их смысловым содержанием.

3. На основе типовых языковых конструкций представления таксономии в тексте разработана формальная модель термина, которая позволяет хранить смысловые значения, используемые при описании таксономии профессиональных знаний.

4. Разработанная модель термина послужила основой для построения модели таксономии профессиональных знаний. Данная модель позволяет проводить обработку текстового представления таксономии, как на уровне отдельных терминов, так и на уровне таксономии в целом, а также интерпретировать полученные результаты обработки.

5. Разработаны синтаксические шаблоны ролей языковых конструкций и семантические правила распознавания текстового представления таксономии, которые позволили формализовать процедуру анализа профессиональных знаний в процессе использования тестов открытого типа. На основе этих шаблонов и правил предложена методика обработки текстового представления таксономии.

6. Разработана методика оценки соответствия моделей субъективных и экспертных знаний, основанная на выборе максимально подходящих терминов субъективного и экспертного смыслового содержания моделей таксономии, которая позволяет судить о степени отклонения субъективных знаний специалистов от экспертных знаний.

7. Разработано алгоритмическое и прикладное программное обеспечение системы обработки результатов тестов открытого типа, которое осуществляет автоматизированную оценку профессиональных знаний специалистов.