Методы и программные средства для анализа документов на основе модели предметной области

Во многих областях человеческой деятельности на гекуший момент накоплены большие объемы знаний и данных. Рост информационных потоков, связанных с деловой активностью человека, требует внедрения автоматизированных методов и систем хранения и обработки данных. В связи с этим, новые и накопленные ранее документы переводятся в электронный формат и хранятся в различных архивах и банках данных.

Однако доступ к этой информации значительно затруднен, так как большинство ее источников являются текстовыми документами, а большинство информационных систем (ИнС) не обеспечивают полноценной работы с такими документами. Хотя современные ИнС и обеспечивают поиск документов по ключевым словам и даже выполняют тематическую рубрикацию документов, но в любом случае, пользователь имеет доступ только к тексту документов, а не к основным смысловым фрагментам, содержащимся в них. Этого оказывается недостаточно для современных корпоративных информационных систем: во-первых, в постоянно разрастающемся архиве становится трудно (практически невозможно) найти нужную информациюво-вторых, данные часто дублируются и противоречат друг другу.

Большой объем накопленной информации и высокая скорость поступления новой предъявляют все более жесткие требования к современным информационным системам. Современная ИнС должна быть способна решать весь комплекс задач, связанных с хранением и управлением потоком входящих «сырых данных», таких как автоматическая классификация и автоматическое содержательное индексирование текстов, оперативное и адекватное распределение новой информации среди пользователей, передача и хранение данных в электронном архиве и последующий поиск в нем по содержанию, обеспечение минимальной избыточности информации.

Важным аспектом, который нужно учитывать при разработке информационных систем, является требование настраиваемости в процессе эксплуатации. Невыполнение этого требования может привести к тому, что система с течением времени перестанет выполнять свои функции из-за изменений в структуре предметной области или спектре требований к системе, которые неизбежно ведут к изменению системы понятий, тематики документов и соответствующих условий их классификации, индексации и адресации.

Для решения этих проблем необходим переход на новый качественный уровень при обработке информации — необходимо вести обработку на семантическом уровне, т. е. учитывать смысл или содержание документов. За последние несколько лет это направление в информационных технологиях получило широкое развитие. Созданные на основе семантических гехнолошй ИнС отличаются от традиционных тем, что используют явно выраженные (в виде онтологии) знания о предметной области. Часто онтология является не только основой для представления информации пользователям, ее хранения и поиска, но и для автоматической обработки поступающей текстовой информации.

Онтологический подход стал активно развиваться с начала 90-х годов [58]. Понятие онтологии можно считать логическим развитием понятия сетевых моделей представления знаний, таких как семантические сети или системы фреймов. Существует множество различных определений онтологии [92,97]. Общим для всех существующих определений является понимание онтологии как модели представления знаний какой-либо предметной области в виде набора понятий этой предметной области и существующих между ними отношений. Причем особое внимания уделяется отношениям «часть-целое», «класс-подкласс» и т. п., упорядочивающих понятия предметной области в иерархию. Именно концентрация на создании таксономий по заранее известным отношениям отличает онтологию от других сетевых моделей [34]. Это позволяет создавать программы, которые бы учитывали семантику этих отношений.

Применение онтологии является одним из наиболее перспективных направлений исследований, поскольку позволяет формализовать и унифицировать операции обработки информации для повышения качества различных информационных услуг и сервисов. В работе проводится исследование одной из наиболее востребованных услуг — информационного наполнения системы.

До сих пор задача анализа текста на естественном языке рассматривалась многими исследователями независимо от той обстановки, где ее результаты планировалось использовать. Применяемые подходы либо никак не учитывают способ и форму хранения полученных результатов анализа в ИнС (например, классические лингвистические исследования Леонтьевой Н. Н. [56,57] по анализу текстов и построению семантических словарей или Мельчука И. А. [60] по теории «Смысл-Текст»), либо, наоборот, строго привязаны к узким целям поставленной задачи и форме результата (например, при извлечении информации о персонах и организациях [38,42], что часто встречается в задачах компьютерной разведки). Классические подходы к семантическому анализу текста используют формальную модель языка и с «большим трудом» переходят к модели предметной области, что не позволяет им естественным образом внедряться в ИнС с заданной предметной областью и удовлетворять поставленным перед такими системами требованиям. В отличие от работ, связанных с задачей полного извлечения смысла или извлечения всей информации из текстов документа, для большинства ИнС нет необходимости делать полный семантический анализ всего связанного текста. ИнС, построенные на основе онтологии, естественным образом задают как формат содержания тою, что требуется извлечь из текста документа (или любого текстового ресурса), так и формат хранения результата в базе данных системы в виде семантической сети объектов, являющихся экземплярами понятий и отношений, заданных моделью предметной области.

В связи с этим особую актуальность приобретает разработка технологии анализа текста в контексте ее применения в различных информационных системах [70] (в частности, для корпоративных систем документооборота или специализированных порталов знаний). Ориентация технологии на деловую и научную лексику является вполне обоснованным решением, позволяющим эффективно применить семантически-ориентированные методы к решению задачи анализа текста на естественном языке.

Создание инструментальных средств — средств настройки онтологии, тезауруса и схем фактов, описывающих способы естественно-языкового выражения понятий и отношений в тексте, — дает возможность обеспечивать содержательную обработку текста документов без специальных навыков программирования непосредственным носителям знаний — экспертам и лингвистам.

Прсдмеюм исследования данной работы являются способы описания лингвистических знаний в информационных системах, а также методы автоматического извлечения данных из текстовых документов.

Цель исследования. Целью диссертационной работы является разработка способов описания лингвистических знаний и представления содержания документов в информационных системах, а также методов и инструментальных средств содержательного анализа текста на естественном языке.

Работа выполняется в рамках проекта по созданию технологии конструирования ИнС и направлена на автоматизацию наполнения различных ИнС данными, полученными в результате анализа содержания документов, поступающими в систему, либо в виде коллекции архивных документов, либо при регулярном оперативном поиске в сеги Интернет. Технология должна включать средства описания предметной области и настройки лингвистической базы знаний.

Для достижения поставленной цели в диссертации последовательно решены следующие задачи исследования:

1. определены требования, предъявляемые к технологиям автоматической обработки текста на естественном языке в современных информационных системах;

2. создана лингвистическая модель описания фактов как способа естественно-языкового выражения в тексте понятий и отношений, которые представляют контент документа в информационной системе;

3. разработана технология конструирования лишвистической базы знаний, реализующая предложенную модель;

4. разработаны методы содержательного анализа документов, использующие предложенную модель;

5. реализованы инструментальные средства, предназначенные для автоматического извлечения фактов из текста и формирования контента документа в информационной системе;

6. апробированы компоненты предложенной технологии в реально функционирующих информационных системах.

Методы исследования. В диссертационном исследовании были использованы модели и методы искусственного интеллекта, компьютерной лингвистики, теории множеств, онтологический анализ, метод экспертных оценок, методы объектно-ориентированного проектирования и программирования.

Основными теоретическими результатами работы, выносимыми на защиту и определяющими научную новизну работы, являются:

— модель представления лингвистических знаний, включая описание фактов, для задачи автоматического анализа документов в ограниченной предметной области;

— методы семантическою анализа документа по деловой или научной тематике;

— способ представления контента документа в информационном пространстве системы.

Разработанная технология может быть применена как при создании новых информационных систем, так и при модернизации уже существующих. Программные компоненты, созданные на базе предложенной модели и методов, были апробированы при разработке ряда информационных систем. Анализ опыта внедрения демонстрирует ею достаточную эффективность, что характеризует практическую значимость работы.

НА ЗАЩИТУ ВЫНОСЯТСЯ следующие положения:

1. Модель лингвистической базы знаний, включающая предметный словарь, модель документа и модель описания фактов.

2. Технология конструирования лингвистической базы знаний, реализующая предложенную модель.

3. Методы, реализующие поэтапный анализ текста документов на основе предложенной модели лингвистической базы знаний;

4. Проблемно-ориентированная программная оболочка, предназначенная для конструирования лингвистической базы знаний, и инструментальные средства, использующие построенную базу знаний для автоматическою извлечения фактов из 1екста и формирования контента документа в информационной системе.

Апробация. Основные выводы и научные результаты диссертационной работы докладывались на международных конференциях, но компьютерной лингвистике и интеллектуальным технологиям «Диалог» в 2002, 2003, 2005 и.

2006 гг., на международной конференции «Проблемы управления и моделирования в сложных системах» в 2003 г., на национальных конференциях по искусственному интеллекту в 2002 и 2004 i г., на международных конференциях по интеллектуальному анализу информации в 2005 и 2006 гг.- печатались в журналах и сборниках: «Искусственный интеллект», № 4, Киев, 2004; «Информационные технологии» № И, 2004; «Молодая информатика: Сборник научных трудов аспирантов и молодых ученых», ИСИ СО РАН, 2005; «Информационные технологии в гуманитарных исследованиях» в 2005 г.

По теме диссертации автором опубликовано 24 работы.

Структура и объем.

Диссертационная работа состоит из 4 глав, введения, заключения, списка литературы содержащего 100 наименований. Общин объем работы составляет 120 страниц текста, включающего 2 приложения.

Благодарности (коллектив).

Результаты, выносимые на защиту в данной диссертационной работе, не были бы получены без слаженной работы всего научного коллектива, в котором работал автор. Созданию технологии содержательною анализа предшествовала работа над проектом InDoc [2−6], а также дальнейшее развитие основных идей в проектах, связанных с созданием технологии конструирования информационных систем [9−10,17−20]. В разное время в указанных проектах принимали активное участие следующие специалисты: Ю. А. Загорулько (руководитель проекта), А. С. Париньяни (научный руководитель проекта), И. С. Кононенко (лингвист), О. А. Андреева, Ю. В. Костов, А. С. Цецохо, О. И. Боровикова, С. В. Булгаков.

Всем участникам проекта автор выражает большую 6: iaiодарность.

Основные результаты.

Проведенные исследования позволили разработать новый подход к содержательному анализу документов, позволяющий настраивать систему анализа на определенную предметную область.

В работе предложена комплексная модель представления знаний, включающая предметный словарь, модель предметной области и модель описания фактов.

Разработаны методы, которые по предложенной модели реализуют поэтапный анализ текста деловых документов ограниченной тематики: извлечение словарных объектов, поиск фактов и формирование контента документа в виде семантической сети объектов, являющихся экземплярами понятий и отношений, заданных моделью предметной области.

Реализованы проблемно-ориентированная оболочка, предназначенная для конструирования лингвистической базы знаний, и инструментальные средства, использующие построенную базу знаний для анализа текста.

Личный вклад автора.

Результаты, которые выносятся на защиту в данной диссертационной работе, не были бы возможны без слаженной работы всею научного коллектива. Созданию технологии содержательного анализа текста предшествовала работа по проекту InDoc, а также дальнейшее развитие основных идей в проектах, связанных с созданием технологии конструирования информационных систем. Наибольший вклад автором диссертации внесен при решении следующих задач:

— Теоретическая разработка подхода к анализу текста документов, изложенного в данной работе.

— Разработка архитектуры словарного компонента.

— Реализация ядра словарног о компонента.

— Разработка и реализация основных алгоритмов сборки фактов.

— Разработка и реализация алгоритмов идентификации объектов, использующих отношение вложенности.

Дальнейшие исследования.

Среди возможных направлений дальнейшего развития технологии следует назвать исследование построения планировщиков: разработку новых подходов и повышение эффективности уже предложенных.

Кроме того, интерес представляет развитие следующих компонент:. словаря — развитие аппарата описания семантики словарных терминов,. модуля сегментации — распознавание типа документа,. конструктор схем фактов — расширение структуры,. модуль формирования контента — разработка стратегий для неоднозначных и конфликтных ситуаций. Интересные перспективы имеет исследование вопросов адаптации технологии к задачам обработки коротких сообщений (метео-телеграмм, смс-сообщений, сообщений службы знакомств), для которых уже существуют относительно эффективные, но менее универсальные решения.

ЗАКЛЮЧЕНИЕ

.

Онисанная в настоящей работе объектно-ориентированная технология содержательного анализа текстов на основе шаблонных моделей схем фактов с использованием онтологии и предметного словаря позволяет, в большинстве случаев, получать приемлемое по эффективности и экономичное по трудозатратам решение. Для построения прикладной программы, решающей ту или иную задачу анализа текста, не требуется переписывание большого количества программного кода на языке программирования общего назначения — достаточно воспользоваться готовыми модулями предлагаемой технологии, подготовить для них описание онтологии, схем фактов и терминологии, соответствующее предметной области.

Эго позволяет ожидать, что предложенная технология может найти широкое практическое применение.