Правильный файл robots.txt один из очень важных моментов, особенно когда речь заходит о молодом сайте. В начале пути ресурс подвержен многочисленным опасностям, вроде возможности угодить под какой-нибудь фильтр поисковых систем. Такое случается повсеместно, даже если контент полностью уникальный, а писали его лично вы или ваш хороший знакомый. Дело тут, как правило, заключается в большом количестве дублирующегося текста или обилии лишних ссылок на сайте, это касается не внешних ссылок, а именно слишком усердной внутренней перелинковки.
Так вот, в robots.txt нужно запретить от индексации страницы, которые вы не планируете продвигать, иными словами, большую часть каталогов статей с анонсами. Часто в индекс попадают именно страницы с анонсами, а сами статьи никак не хотят лезть в выдачу, даже когда анонсы уменьшены до одного-двух предложений.
Вот универсальный кусок robots.txt для самого популярного движка Wordpress:
Disallow: /cgi-bin
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: */comments
В принципе, этим можно было и ограничиться, но для каждого ресурса требуется свой подход. Стоит, однако помнить, что если вы запретили от индексации те или иные страницы в файле robots.txt, то поисковик не просто не будет их добавлять в выдачу, но и переходить по ссылкам, расположенных на этих страницах, тоже не будет.
Если на блоге имеется облако тегов или метки, то их в первую очередь нужно запретить от индексации. По желанию, можно убрать и страницы категорий, оставив лишь список ссылок с главной, чтобы поисковик хоть как-то находил статьи.
Если же вы хотите чтобы роботы поисковых систем переходили по ссылкам на страницах, но не индексировали их, то воспользуйтесь тегами noindex, разновидностью которого является мета-тег, ориентированный на всю страницу целиком.