Правила создания robots.

txt для сайта
Файл robots.txt должен:
располагаться строго в корне сайта,
он должен быть единственным,
число директив (команд) не должно превышать 1024,
размер не превышать 500kB (для Google)
Директива Disalow служит для запрета индексации, Allow – для разрешения индексации
Типичные ошибки в robots.txt смотрите в статье http://drmax.su/robots-txt-dlya-sajta.html #продвижение