Подскажите по друпал
и в robots
# Paths (clean URLs)
Disallow: /node/add/
Думается, более правильно будет вот так:
Disallow: /node$
Disallow: /node/
Но поскольку движка не знаю, как бы не скрыть чего важное (а вдруг).
зы: все адреса, содержащие "node" можно закрыть одной командой - Disallow: /node
"node" - это не баг, а единица контента так называется. Пошло еще с мохнатых времен 2005г, когда чистые ссылки только входили в моду (до них у друпала были site/?q=node/123), а стали site/node/123
Node добавили просто чтобы не писать сразу от корня /123, но главное - чтобы отличать страницу от категории. У категории URL такой: site/taxonomy/term/321
Но в сейчас это не имеет особого смысла - т.к. ЧПУ по дефолту стоит, и любой материал на сайте сразу получает имя нормальное - site/category-name/page-name
Но при редактировании видно у материала видно его, так сказать, родное имя с /node/ и если зайти на такой URL - отобразится та же страница. Поэтому нужно закрыть это дело в robots сразу при запуске сайта
Disallow: /node
(тут только минус - вдруг у тебя какой-то документ на сайте имеет ЧПУ URL с таким префиксом, но вероятность этого ничтожно мала).
Самый точный вариант:
Disallow: /node$
Disallow: /node/
Это убирает такую проблему. У меня за 10 лет "ни единого разрыва", как говорится.
Но, вообще, в 2011 году вышел модуль GlobalRedirect - ставь его всегда и включай просто с дефолтными настройками. Там включается 301 редирект с любых технических URL на их нужные варианты + даже сразу работает 301 с урлов с "/" на конце на урлы без слеша - тоже закрывает потенциальные дубли.