Netcat 7.2: полное соответствие 152-ФЗ, безопасность, е-коммерция
Netcat 7.1: 152-ФЗ и многое другое
Разные robots.txt для разных сайтов на одной системе.
Раздел: Технические вопросыТэги: robots.txt, поисковик, robots
В настройках каждого сайта можно задать содержимое файла robots.txt. Самого файла robots.txt на сервере быть не должно, физически он отсутствует.