Вопрос robots.txt

serenykiyserg

Проверенный
Сообщения
234
Репутация
26
Баллы
28
Всем привет. Подскажите как вежливо, но в приказном порядке сообщить все user-agentam , что читайте только sitemap.php и больше никуда не лезьте. Были ли у кого-нибудь такие эксперименты, что без файла robots.txt индексировалась только автоматически созданная карта на движке XF ?
 

serenykiyserg

Проверенный
Сообщения
234
Репутация
26
Баллы
28
Да я уже попробовал и так и так. Всё началось с google analytic , а закончилось search console.

Посмотрел, у меня всё правильно, я залил именно такой файл, но толку нет, он невидим для роботов и даже через команду в браузере не видим. Не понятно пока почему.
 
Последнее редактирование модератором:

serenykiyserg

Проверенный
Сообщения
234
Репутация
26
Баллы
28
Сверху Снизу