Введение. 
Метод автоматизированного извлечения знаний из слабоструктурированных источников и его применение для создания корпоративных информационных систем

В настоящее время в связи с постоянным ростом информации глобальной сети Интернет необходимо развитие технологий, позволяющих использовать ее для решения различных производственных задач предприятий и организаций. Потребность в этом испытывают все пользователи, начиная от простых людей и кончая специалистами крупных компаний, отвечающими за формирование информационных источников. В связи с этим подавляющее большинство корпоративных информационных систем (КИС) предусматривают подключение своих пользователей к Интернету с соблюдением различных механизмов безопасности. Современные КИС в большинстве случаев строятся с использованием WEB-технологий и представляют собой Интранет-системы. Для больших компаний количество информации, распределенной на различных разнородных источниках во внутренней сети, настолько велико, что здесь возникают проблемы, схожие с теми, которые испытывает Интернет.

Разнообразная слабоструктурированная информация в сети Интернет не может быть успешно использована на практике при отсутствии эффективного доступа. Так, по оценкам экспертов, около 79% журналистов обращаются к Интернет в поисках новостей, и лишь 20% из них находят ту информацию, которая им необходима [1]. Несмотря на выполняемые большие работы по совершенствованию методов поиска, используемых поисковыми машинами, проблему вряд ли можно решить только таким путем. И даже если представить такую ситуацию, что все существующие проблемы поиска в их традиционной постановке будут решены, то большинство пользователей по-прежнему останется недовольно, так как извлекаемая ими информация будет релевантна поисковому запросу, но не их насущным потребностям.

Необходимо отметить направление, которое пытается преодолеть это противоречие. Оно активно развивается консорциумом W3C и получило название Semantic Web [2]. По замыслу его создателей реализация этой парадигмы в Интернете позволит информационным системам в какой-то степени понимать содержание информации и выступать «интеллектуальными посредниками», способными самостоятельно манипулировать ею по заданию человека. В результате должен появиться новый Интернет, получивший рабочее название Web 2. Осуществятся ли эти замыслы, покажет время, однако, уже многие технологии Semantic Web успешно применяются в современных Интернет/Интранет системах. Например, практически все новостные сайты поддерживают формат RSS (Really Simple Syndication, Rich Site Summary, RDF Site Summary) [3], специально предназначенный для легкого и быстрого обмена содержанием Web-сайтов. Он является специальной формой RDF (Resource Description Framework) [4] представления метаданных, реализованной в направлении Semantic Web для новостной информации.

Поиск, фильтрация, сбор информации в Интернете для использования в организациях в рамках КИС сопряжены с необходимостью тратить на это большое время и использовать высококвалифицированный персонал. Необходимо отметить, что информационный поток, «потребляемый» организацией из Интернета, носит, как правило, выраженную предметную окраску, характеризуемую областью интересов данной организации, а следовательно, в большинстве случаев, может быть хорошо структурирован. В большинстве случаев специалисты, занимающиеся сбором и анализом новостной информации из Интернет-источников, имеют достаточно четкое представление о том, какая именно информация и из каких источников их интересует, какой набор метаданных должен сопровождать ту или иную новость, в какой тематический раздел КИС ее следует поместить. Это обстоятельство является предпосылкой для создания модели знания о предметной области и открывает возможность для автоматизации извлечения этих знаний.