История развития поисковых систем

Одним из первых способов организации доступа к информационным ресурсам сети стало создание каталогов сайтов, в которых ссылки на ресурсы группировались согласно тематике. Первым таким проектом стал сайт Yahoo, открывшийся в апреле 1994 года. После того, как число сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска информации по каталогу. Это, конечно же, не было поисковой системой в полном смысле, так как область поиска была ограничена только ресурсами, присутствующими в каталоге, а не всеми ресурсами сети Интернет. Каталоги ссылок широко использовались ранее, но практически утратили свою популярность в настоящее время. Причина этого очень проста — даже современные каталоги, содержащие огромное количество ресурсов, представляют информацию лишь об очень малой части сети Интернет. Самый большой каталог сети DMOZ (или Open Directory Project) содержит информацию о 5 миллионах ресурсов, в то время как база поисковой системы Google состоит из более чем 8 миллиардов документов. Первой полноценной поисковой системой стал проект WebCrawler появившийся в 1994 году. В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в Интернет. В 1997 году Сергей Брин и Ларри Пейдж создали Google в рамках исследовательского проекта в Стэнфордском университете. В настоящий момент Google самая популярная поисковая система в мире. 23 сентября 1997 года была официально анонсирована поисковая система Yandex, самая популярная в русскоязычной части Интернет. В настоящее время существует 3 основных международных поисковых системы — Google, Yahoo и MSN Search, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих можно насчитать очень много) использует в том или ином виде результаты 3 перечисленных. Например, поиск AOL (search.aol.com) и Mail.ru используют базу Google, а AltaVista, Lycos и AllTheWeb — базу Yahoo. В России основной поисковой системой является Яндекс, за ним идут Rambler, Google.ru, Aport, Mail.ru и KM.ru.

Поисковая система состоит из следующих основных компонентов:

Spider (паук) — браузероподобная программа, которая скачивает веб-страницы.Crawler (краулер, «путешествующий» паук) — программа, которая автоматически проходит по всем ссылкам, найденным на странице.

Indexer (индексатор) — программа, которая анализирует веб-страницы, скаченные пауками. Database (база данных) — хранилище скачанных и обработанных страниц. Search engine results engine (система выдачи результатов) — извлекает результаты поиска из базы данных.

Web server (веб-сервер) — веб-сервер, который осуществляет взаимодействие между пользователем и остальными компонентами поисковой системы. Детальная реализация поисковых механизмов может отличаться друг от друга (например, связка Spider+Crawler+Indexer может быть выполнена в виде единой программы, которая скачивает известные веб-страницы, анализирует их и ищет по ссылкам новые ресурсы), однако всем поисковым системам присущи описанные общие черты.

Spider. Паук — это программа, которая скачивает веб-страницы тем же способом, что и браузер пользователя. Отличие состоит в том, что браузер отображает информацию, содержащуюся на странице (текстовую, графическую и т. д.), паук же не имеет никаких визуальных компонент и работает напрямую с html-текстом страницы (вы можете сделать «просмотр html-кода» в вашем браузере, чтобы увидеть «сырой» html-текст).

Crawler. Выделяет все ссылки, присутствующие на странице. Его задача — определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Краулер, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer. Индексатор разбирает страницу на составные части и анализирует их. Выделяются и анализируются различные элементы страницы, такие как текст, заголовки, структурные и стилевые особенности, специальные служебные html-теги и т. д.

Database. База данных — это хранилище всех данных, которые поисковая система скачивает и анализирует. Иногда базу данных называют индексом поисковой системы.

Search Engine Results Engine. Система выдачи результатов занимается ранжированием страниц. Она решает, какие страницы удовлетворяют запросу пользователя, и в каком порядке они должны быть отсортированы. Это происходит согласно алгоритмам ранжирования поисковой системы. Эта информация является наиболее ценной и интересной для нас — именно с этим компонентом поисковой системы взаимодействует оптимизатор, пытаясь улучшить позиции сайта в выдаче, поэтому в дальнейшем мы подробно рассмотрим все факторы, влияющие на ранжирование результатов.

Web server. Как правило, на сервере присутствует html-страница с полем ввода, в котором пользователь может задать интересующий его поисковый термин. Веб-сервер также отвечает за выдачу результатов пользователю в виде html-страницы.

Яндекс — это самая известная современная поисковая система в России. Ее посещает около трех миллионов человек в день. В данной поисковой системе есть возможность размещать платные объявления в результатах поиска. Раскрутка сайта в Яндексе является приоритетной задачей для большинства сайтов, ориентированных на российскую аудиторию. Одним из критериев при определении позиции сайта в результатах поиска является индекс цитирования.

Рамблер — это первая российская поисковая система. Ее посещаемость в полтора раза меньше, чем посещаемость Яндекса. В поисковой системе есть рейтинг TOP100, участие в котором может быть полезно для раскрутки сайта.

Гугл — это крупнейшая мировая поисковая система. У данной поисковой системы самые современные алгоритмы определения соответствия сайта запросу пользователя, а значит самые качественные результаты поиска. Для определения цитируемости сайта используется PageRank. От чего зависит прибыль сайта? Если представить себе два сайта с примерно одинаковым ассортиментом, то у более посещаемого сайта прибыль будет больше. От чего же зависит посещаемость сайта? Посещаемость сайта зависит от количества денег, вложенных в раскрутку сайта. Ведь без правильной раскрутки сайта сегодня нереально попасть не то что на первую страницу результатов поиска товаров и услуг, а даже и на вторую-третью. Правильная раскрутка сайта зачастую приносит больше пользы и обходится в десятки раз дешевле, чем все остальные виды рекламы вместе взятые.