С каждым годом в Интернете растут объемы количества информации, и вместе с этим растет количество пользователей, которые эту самую информацию ищут. На сегодняшний день Интернет используют практически все слои населения, от школьников и студентов, до пенсионеров. Количество запросов в поисковых системах неуклонно возрастает. Именно поэтому одной из наиболее важных задач – обеспечение эффективного, высококачественного и быстрого поиска нужной информации.
Сначала поиск необходимой информации производился при помощи Интернет-каталогов, в эти каталоги модераторы сайтов вручную вносили нужные ссылки на сайты определенной тематики. Популярность Интернет-каталогов определялась качеством, а также количеством собранных в нем ссылок на сайты. Самым первым веб-каталогом стал известный каталог Yahoo, который появился впервые в 1994 году. Но, не смотря на все достоинства, такие каталоги не способны вместить всю информацию с просторов Интернета, именно поэтому веб-каталоги малоэффективны. К примеру, гигантский каталог под названием Dmoz смог вместить в себя информацию о более 4,6 миллионов веб-ресурсов. С первого взгляда эта цифра выглядит огромной, но при сравнении с поисковой системой Google эта цифра становится ничтожно малой, так как Google смог проиндексировать более 8 миллиардов различных документов! После появления поисковых систем, веб-каталоги потеряли свою популярность. Возникает вопрос что такое поисковая система? Если сказать просто, то это сайт с размещенным на нем веб-интерфейсом системы.
Программная часть поисковой системы – движок, который представляет собой комплекс программ, при помощи которых и осуществляется поиск необходимой информации. Специальные программы – поисковые боты, которые переходят во всемирной паутине с одной веб-страницы на другую, при этом они передают всю найденную информацию в систему, где все проиндексированные таким образом страницы заносятся в базу данных. Сначала списки страниц предназначенных для индексации составлялись вручную, для того чтобы облегчить задачу поисковым роботам. Постепенно необходимость индексации вручную отпала. Теоретически, если вы будете переходить по различным ссылкам, то сможете найти нужные документы. Но на практике это невозможно, так как невозможно отследить вручную весь объем постоянно поступающей новой информации. Объем баз данных один из самых крупных информационно-поисковых систем равняется примерно пятидесяти процентам от общего объема информации во всемирной паутине.
Поговорим об истории создания некоторых известных поисковых систем. Система, которая отслеживала FTP-архивы называлась Archie, этот поисковый робот можно считать «дедушкой» современных поисковиков. Данная система занималась тем, что сканировала новые или неизвестные FTP-серверы, а также она собирала информацию о хранящихся в них файлах. В то время, когда Арчи работал в полную силу, HTTP-серверов существовало лишь считанные единицы. Первым современным поисковым роботом стал World Wide Web Wanderer. Сами поисковые системы впервые увидели свет в середине 90-х годов. В 1994 году появилась поисковая система «WebCrawler», которая позволяла пользователям находить нужную им информацию при помощи ключевых слов. Сразу же после появления этого поисковика в свет вышли его конкуренты — Excite, Lycos, Infoseek, а также самый популярный из них – AltaVista. AltaVista имела довольно удобный интерфейс и обладала собственным поисковым ботом. AltaVista была первой поисковой системой с легковесным интерфейсом, который позднее взяла на вооружение система Google.
С течением времени поисковые системы стали серьезными конкурентами для поисковых каталогов. Позже, очень многие поисковые каталоги объединились, а кроме того, добавили в свой состав поисковые системы, например Yahoo. В 1998 году Сергей Брин и Ларри Пейдж, которые являлись студентами Стендфорского университета, создали поисковую систему Google, которая на сегодняшний день является одной из самых популярных. В 1996 году в России появились первые поисковые системы – «Рамблер» и «Апорт». «Рамблер» был самым известным поисковиком до появления в 1998 году поисковой системы Яндекс.