Принципиальная схема работы информационно-поисковой системы

Существующие в настоящие время средства информационного поиска могут рассматриваться как связь индивидуальных или коллективных потребителей (пользователей) информации. Средства поиска — это контакт конкретного потребителя с поставщиками информации, объединяемых общностью информации по отношению к поставленному вопросу (рис. 2).

Рис. 2. Схема взаимодействия средства информационного поиска с потребителями и поставщиками информации.

На схеме поставщик информации вырабатывает информацию, которая аккумулируется (накапливается) средством информационного поиска. Потребитель информации формулирует запрос и после поиска в массиве получает от средства поиска необходимые сведения. Поставщики информации могут быть разобщены территориально и ведомственно, а средство поиска представляет способ преодоления этой разобщенности.

Средства информационного поиска решают проблемы отыскания конкретных сведений среди множества документов (информационных ресурсов). В их работе с документальной информацией можно выделить два основных этапа:

• • первый этап — сбор и хранение информации;
• • второй этап — поиск и выдача информационных ресурсов потребителям.

Процесс движения информации в интернете происходит по замкнутому кругу, состоящему из потребителей информации, поставщиков информации и средств информационного поиска. Поставщиками и потребителями информации могут быть как отдельные лица, так и целые организации. Источником информации является деятельность и общественная практика отдельных лиц и коллективов, в результате которых формируются документальные данные и сообщения.

Службы поиска (средства, предназначенные для поиска информации) сети Интернет разделяются на каталоги (directories), поисковые системы (search engines) и метапоисковые системы (metasearch engines).

Каталог — это система, обеспечивающая классификацию информации. Его отличительная особенность — наличие иерархии (схемы упорядочения) ресурсов, в которой каждый из них (ресурсов) относится к одному или более разделам. Каталоги — например, Yahoo! (www.yahoo.com) и List.ru (www.list.ru) — работают не с индексами, а с описаниями ресурсов интернета. Они наполняются web-мастерами (людьми, создающими информационные ресурсы) или специальными редакторами, которые просматривают информационные ресурсы сети. В ответ на запрос пользователя каталоги выполняют поиск по этим описаниям. Каталоги автоматически не обнаруживают изменения информационных ресурсов сети. Однако результаты поиска в них могут казаться более осмысленными, т. к. информационные ресурсы подготовлены людьми.

Рассмотрим структуру типовой схемы каталога (рис. 3):

Рис. 3. Типовая схема каталога.

Клиент — это программа просмотра конкретного информационного ресурса. Наиболее популярными программами просмотра интернет-документов являются Microsoft Internet Explorer и Netscape Navigator. В свою очередь, все информационные ресурсы выступают объектами поиска.

Пользовательский интерфейс — это группа web-страниц (форм) средства поиска, при помощи которых пользователь взаимодействует с данным средством.

Поисковая машина — компонент системы, основное назначение которого — поиск известных данной системе документов, соответствующих сформулированному запросу, во внутреннем массиве данных системы и формирование ответа (результата проведенного поиска) пользователю в виде набора ссылок на найденные документы.

Технический персонал — люди, в обязанности которых входит формирование перечня информационных ресурсов каталога, их описаний и иерархии этих ресурсов.

Запросы пользователя — массив данных системы, служащий для временного хранения сформулированных запросов пользователя.

Иерархия информационных ресурсов и их описания — внутренний массив данных каталога, в котором содержатся сведения об информационных ресурсах сети Интернет (адреса URL и краткое описание ресурсов). Данный массив организован таким образом, что каждый информационный ресурс соответствует какой-либо теме, а перечень тем упорядочен по признаку подчинения.

Информационные ресурсы — ресурсы, просмотр которых обеспечивается программами просмотра, т. е. интернет-документы.

При решении стандартной поисковой задачи (при поиске общедоступной информации) именно каталог, а не поисковая система оказывается лучшей точкой отсчета для начала поиска.

Типичным примером использования каталога является необходимость нахождения в сети Интернет группы информационных ресурсов на определенную недостаточно узкую тематику, например сайтов, предоставляющих контактную информацию организаций города, или сайтов электронных СМИ.

Другая, принципиально отличная от каталога, служба поиска информации — информационно-поисковая система. ИПС — это система, обеспечивающая накопление и поиск информации.

ИПС, решая задачи сбора, хранения, обработки и выдачи информации, выполняют следующие операции:

• • поиск документов;
• • анализ содержимого документов;
• • построение поисковых образов документов (извлечение из документов информации, используемой системой как знания о документе);
• • хранение поисковых образов документов (сведений о документах);
• • анализ запросов пользователей (потребителей информации);
• • поиск релевантных (соответствующих) запросу документов;
• • выдача ссылок на документы потребителям.

Типовая схема ИПС аналогична типовой схеме каталога (рис. 4). Индекс базы данных — это основной массив данных ИПС. Он служит для хранения сведений обо всех известных системе интернет-документах. Данные сведения необходимы для того, чтобы поисковая система сумела найти документы на запрос пользователя.

Рис. 4. Типовая схема информационно-поисковой системы.

Робот-индексировщик (crawler, spider или паук) — программный модуль поисковой системы, служащий для поиска (отбора) информационных ресурсов в сети и их индексирования (индексировать информацию означает приписать каждому документу ключевые слова, отражающие содержание документа и управляющие поиском, приводя к тем документам, слова которых оказываются более сходными со словами сделанного запроса), т. е. поддержания базы данных индекса в актуальном (по отношению к интернету) состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов. Просмотр документов интернета данным модулем системы делается регулярно. Для крупных систем период просмотра документов, как правило, составляет 1−2 недели.

Общий алгоритм функционирования (принцип работы) ИПС состоит в следующем. Робот-индексировщик автоматически просматривает (переходя от одного ресурса к другому, используя ссылки, расположенные на нем) различные информационные ресурсы интернета (интернет-документы). Создает индекс базы данных, помещая туда информацию о ресурсах сети. При этом он также периодически возвращается к информационным ресурсам и проверяет их на наличие изменений. Когда пользователь делает поисковой системе запрос, ее программное обеспечение (поисковая машина) просматривает созданный индекс базы данных с заданными ключевыми словами и ранжирует (упорядочивает) ресурсы по степени близости к предмету поиска.

Относительно алгоритма функционирования И ПС следует сделать ряд замечаний. В каждой конкретной поисковой системе хранятся сведения не о всех документах интернета, а только о тех, которые известны этой системе (для различных систем доля проиндексированных документов различна, но, как правило, не превышает 30%). В поисковых системах хранятся не сами документы, а только сведения о них, достаточные для их нахождения пользователем, и, как следствие, поисковая система в результатах поиска может и не выдавать некоторые соответствующие запросу документы. В результате поиска (отклик на запрос) системой сортируются документы по степени соответствия сделанному пользователем запросу с точки зрения алгоритма поисковой системы, а не с точки зрения их фактического соответствия запросу. Данная особенность систем значительно экономит время, затрачиваемое на поиск требуемой информации, особенно когда комбинация слов запроса встречается в нескольких тысячах или миллионах документов. Однако нередки случаи, когда наиболее соответствующие запросу документы не являются первыми в выданном списке. В данном случае следует соблюдать компромисс между количеством просматриваемых документов и общим числом найденных документов (как правило, требуемая информация содержится в первых нескольких десятках найденных документов). Наиболее типичным действием является детализация запроса с помощью средств уточнения запроса, предоставляемых данной системой (обычно при помощи языка запросов и (или) средств расширенного интерфейса формулировки запросов). К формированию более детального запроса также следует обратиться, если в результатах поиска много информационного шума (не соответствующей запросу информации), что, как правило, свидетельствует о неудачно подобранных терминах запроса (например, они подвержены полисемии — имеют несколько значений). В промежутках между работой робота-индексировщика системы документы изменяются пользователями, но эти изменения часто учитываются поисковой системой не мгновенно, а спустя некоторый промежуток времени, определяемый периодом индексирования интернета, поэтому некоторая информация может быть в системе потенциально недоступной в конкретный момент времени.

Поисковые системы следует применять, если требуется найти информацию по специфичным вопросам или для обеспечения полноты охвата ресурсов.

Примером применения информационно-поисковых систем могут являться требования найти сайт конкретной организации или дать ответ на вопрос «Каковы причины введения единого экзамена в средних школах?».

Наиболее известные поисковые системы: Google (www.google.com) и Yandex (www.yandex.ru).

Отличия в стратегии и широте охвата материала различных поисковых систем часто приводят к тому, что разные средства поиска дают разноречивые ответы на один и тот же запрос. Этим воспользовались разработчики метапоисковых систем, которые в своей работе используют потенциал других средств информационного поиска. Метапоисковые системы — это надстройки над поисковыми системами и электронным каталогами, которые не имеют собственной базы данных (индекса) и при поиске по поисковому предписанию пользователя самостоятельно формируют запросы для нескольких внешних средств поиска, а затем анализируют полученные результаты и выдают список ссылок в порядке, определяемом соотношением рейтингов ответа сразу по нескольким средствам поиска. Такая система ведет опрос нескольких поисковых систем, а затем отбирает ссылки, следуя собственному алгоритму.

Метапоисковые системы позволяют сократить время, затраченное на поиск информации, т. к. при обработке запроса пользователя эти системы одновременно обращаются к нескольким различным средствам поиска. Схема работы метапоисковой системы представлена на рис. 5.

Рис. 5. Типовая схема метапоисковой системы.

Наиболее значимые метапоисковые системы: KARTOO (wavw.kartoo.com) и MetaBot.ru (www.metabot.ru). Их главное достоинство заключается в умении рассылать вводимые в них запросы по другим системам, а затем суммировать результаты. Таким образом, пользователь, вводя поисковое предписание, например в MetaBot.ru, фактически одновременно обращается к другим поисковым системам. Этим гарантируются «объективность» и «полнота» полученных результатов, однако, учитывая различия в подходах к обработке терминов разными системами, результат может оказаться не всегда релевантным запросу.

Метапоисковые системы наиболее эффективны на начальных этапах поиска информации. Они помогают локализовать средства поиска, в которых присутствуют сведения об искомой пользователем информации.