Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Яндекс поддерживает стандарт исключений для роботов (Robots Exclusion Protocol) с расширенными возможностями. При очередном обходе сайта робот Яндекса загружает файл robots.txt.
Создание и продвижение премиальных сайтов. Лучше всех, дешевле многих!