Если вы решили продвигать свой сайт собственными силами, то необходимо уделять внимание не только созданию уникального контента и перелинковке страниц, но и помнить про индексирование вашего сайта поисковиками. Для русскоязычных сайтов важно, чтобы их проект был проиндексирован поисковой системой Яндекс .
Для правильной индексации используются два инструмента. А именно: файлы robots.txt и sitemap.xml (карта сайта). Оба файла должны размещаться в корне вашего сайта.
При индексации сайта, роботы поисковых машин в первоочередном порядке опрашивают файл robots. Если поисковый робот не обнаружит данный файл, то начнет индексировать все директории подряд. В том случае, если файл окажется пустым, роботы расценят это так же как и его отсутствие. При помощи этого файла вы можете, а точнее должны, закрыть от индексации директории сайта, в которых расположены файлы движка и дублирующийся контент. Файл robots представляет из себя обыкновенный файл с расширением txt, в который можно в любой момент внести изменения при помощи любой программы для редактирования текстов. Правила и запреты в этом файле можно указывать как для всех поисковиков, так и для каждого в отдельности. Очень важно в разделе «Host» файла robots.txt указать какое зеркало на вашем сайте является главным. Или хотя бы указать главный вариант написания адреса вашего сайта: с WWW или без него.
Использование файла Sitemap.xml ускоряет индексацию, так как он «показывает» поисковикам все страницы сайта, которые необходимо проиндексировать. В файле карты сайта приводятся все URL-адреса индексируемого сайта вместе с метаданными, которые содержат: дату изменения, частоту внесения изменений и т.п. Применение файла sitemap.xml направлено на оказание дополнительной помощи поисковым роботам. Но и применение этого файла не даст стопроцентной гарантии того, что сайт будет полностью и правильно проиндексирован. Поэтому необходимо следить за индексацией вашего сайта самостоятельно.
После того как ваш сайт проиндексируется впервые (эта процедура растягивается по времени до двух недель), информация об этом появится в разделе ваших сайтов (например Яндекс.Вебмастер). Далее следует ежедневно (ну или хотя бы еженедельно) проверять индексирование страниц добавленного сайта, потому что со временем могут появиться ошибки и некоторые страницы (а возможно и весь сайт) просто пропадут из базы сайтов Яндекса. При таком развитии событий, сайт будет существовать, но его никто не сможет найти по поисковым запросам.