Напишите мне Robots.txt для Битрикса
ну и по структуре папок надо смотреть,осталось ли что то открытое то))
ошибка в вашем robots.txt следующая:
последнюю строку
Sitemap: _www.express-oriental.ru/sitemap.xml
нужно заменить на
Sitemap: _http://www.express-oriental.ru/sitemap.xml
только подчеркивание перед ссылкой уберите, это я его для этого сайта поставил, а то тут ссылку простым текстом нельзя написать. (как правильно см. картинку)
и кстати ссылка на карту указана,а по факту её нет! если нет карты сайта, то необходимо эту строку совсем удалить.
далее.. ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5816
генерация файла robots.txt
dev.1c-bitrix.ru/learning/course/?COURSE_ID=41&LESSON_ID=5814
elusive69 писал(а)
ИМХО в вашем robots.txt много лишнего, то, что там по закрывали я таких страниц на вашем сайте не нашёл, видимо, с какого-то другого сайта карту тупо скопировали :)
Да там наворочено просто - никто разобраться не может.
Я, конечно, ту строчку поправила, но может напишете мне все правильно, без лишнего?
Не бесплатно же прошу, что никто не хочет браться?