User-agent: * # общие правила для роботов всех поисковых систем Disallow: /old # Старая версия сайта. Disallow: /cgi-bin # Стандартная папка на хостинге. Disallow: /cms/wp-admin/ # Закрываем админку. Allow: */wp-*/*ajax*.php # AJAX запросы: */admin-ajax.php */front-ajaxs.php Disallow: /? # Все параметры запроса на главной. Disallow: *?s= # Поиск. Disallow: *&s= # Поиск. Disallow: /search # Поиск. Disallow: /author/ # Архив автора. Disallow: */embed$ # Все встраивания. Disallow: */xmlrpc.php # Файл WordPress API Disallow: *utm*= # Ссылки с utm-метками Disallow: *openstat= # Ссылки с метками openstat Disallow: /cms/wp-content/cache Disallow: /cms/wp-json/ Disallow: */wp-login.php Disallow: /cms/wp-register.php Disallow: /cms/license.txt Disallow: /cms/readme.html Disallow: */trackback # трекбеки, уведомления в комментариях о ссылке на веб-документ Disallow: /comments/feed/ Disallow: */feed # все фиды Disallow: */rss # rss фид # Disallow: /*?replytocom /? # Disallow: *?attachment_id= # ? # Allow: */uploads # открываем папку с файлами uploads Allow: /*/*.js # открываем файлы скриптов js Allow: /*/*.css # открываем фалы css Allow: /cms/wp-content/uploads/ Allow: /cms/wp-content/themes/ Allow: /cms/wp-content/plugins/ # Одина или несколько ссылок на карту сайта (файл Sitemap). Это независимая # директива и дублировать её для каждого User-agent не нужно. Так например # Google XML Sitemap создает 2 карты сайта: Sitemap: https://www.vzep.vitebsk.by/cms/sitemap.xml # Sitemap: http://example.com/sitemap.xml # Sitemap: http://example.com/sitemap.xml.gz # Версия кода: 2.1 # Не забудьте поменять `example.com` на ваш сайт.