Запрос Правильный и актуальный robots.txt

JSR

Пользователь
Сообщения
1
Репутация
0
Баллы
1
Подскажите, пожалуйста, а зачем посты запрещать к индексации? У меня в некоторых темах написаны статьи заточенные под ключевики для продвижения форума. Если посты закрою, то смысл их пропадает?
Как же быть?
 

Bams

Пользователь
Сообщения
11
Репутация
0
Баллы
1
Привет, есть актуальный вариант роботса для XF 2.1 ?
 

Unsubdued

Администратор
Сообщения
4 761
Репутация
9 181
Баллы
266
Bams, да вот такой вполне пойдет

Код:
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Allow: /

Sitemap: https://your_domain.ru/sitemap.php
Host: your_domain.ru
 

SOLT

Местный
Сообщения
150
Репутация
51
Баллы
28
Я еще пользователей закрыл
Disallow: /members/
 

SOLT

Местный
Сообщения
150
Репутация
51
Баллы
28
ну по сути он гость же :)
На всякий случай закрыл, после прочтения какой-то темы, там задавался вопрос вносить пользователей в роботс или нет, мнения разделились. Решил внести, хуже то не будет. :)
 

Unsubdued

Администратор
Сообщения
4 761
Репутация
9 181
Баллы
266
SOLT, ну, еще и переписки иногда закрывают, Disallow: /conversations/, только вот нафиг, если они и так не доступны.
 
Сверху Снизу