С каждым днем возрастает число пользователей в сети Интернет, которые разыскивают необходимую им информацию при помощи поиcковых систем. Объем информации, который увеличивается с большой скоростью, предъявляет все более высокие требования к скорости поиска и качеству найденной информации. Каждый пользователь хочет получить наилучший результат в ответ на свой запрос. Это значит, что главной целью информационно-поисковых систем является качественно и с высокой скоростью обработать необходимую информацию.
Для пользователя большое значение имеет максимальная удобность предоставленных результатов, получение результата без затрат времени на составление подробного запроса, также важно получить результат без лишней и ненужной информации в нагрузку. Чтобы угодить пользователям разработчики поисковых систем улучшают алгоритмы поиска, совершенствуют принципы поиска, а также вводят новые функции и ускоряют работу всей системы.
Рассмотрим, как работает поисковый движок системы Рамблер. Также на примере Рамблера рассмотрим, как несмотря на постоянно увеличивающийся объем информации, разработчики улучшают качество выполняемой работы и скорость поиска. Одной из главных характеристик любой поисковой системы будет являться полнота. Полнота – отношение документов, которые нашла система, к общему количеству документов, которые релевантны этому запросу. Например, в сети имеется около 100 страниц со словами «пластиковые окна», а какая-либо поисковая система выдала только 70 страниц, то полнота будет соответственно равна 0,7. Отсюда следует, что чем больше полнота поиска, тем больше шансов найти необходимый документ.
Поисковые роботы, чтобы не перегружать систему лишний раз, когда происходит увеличение страниц индексации, делят это количество страниц на равные части, поэтому каждый поисковый робот работает только в своей зоне. Вся информация, которую находят роботы поисковых систем, сохраняется в базе данных. Программа indexer анализирует информацию, которую ей предоставили боты, и кроме этого, разбивает страничку на несколько частей. Если роботы нашли страницы, у которых URL совпадает, то они выбирают ту, которая более новая. Если же при запуске страницы появляется ошибка 404, то есть страница не найдена, то эта страница будет удалена из баз данных. Если встречаются страницы, у которых одинаковый адрес и содержимое, то такие страницы как бы «склеиваются» друг с другом, если же у страниц совпадает текст, но адреса разные, то они заявляются ботами как единый документ.seo анализ сайта
Существует также еще одна важная функция поисковиков – точность. Точность представляет собой соответствие результатов поиска, запросу. Например, вы создали запрос под названием «Красная площадь», поисковая система выдала нам 150 документов, только в 70 из них наш запрос остается неизменным, в остальных 80 документах встречаются лишь отдельные слова «Красная» и «площадь». Вычислим точность: 70/150=0,46, то есть примерно 0,5. Вывод: чем выше точность поисковых систем, тем меньше лишней информации будет содержаться в результатах поиска. В системе Рамблер, чтобы увеличить точность поиска, разработчики внедряют разнообразные технологии. Рассмотрим одну из них, которая называется «распознавание омонимов».
Все знают, что такое омонимы (слова, которые пишутся одинаково, но значение имеют разное). Омонимы могут быть лексическими (то есть они относятся к одной части речи) и грамматическими (относятся к разным частям речи). К примеру, «лук» — это лексический омоним, а слово «рядовой» — грамматический. Омонимы в поисковых системах очень сильно увеличивают размер базы индексированных страниц, потому что приходится сохранять все значения, которые имеются. Чтобы повысить точность поиска существует модуль синтаксического анализа, который разбирает все окружающие омонимы, чтобы найти более подходящее значение. Например, слово «печь» расположено рядом со словами «пироги» и например, «хлеб», тогда существует большая вероятность того, что в этом случае «печь» — глагол. На сегодняшний день такой модуль может распознавать всего лишь грамматические омонимы.