Robots.txt и sitemap - чья задача?

Работаю над одним проектом с новым разработчиком. Проект почти закончен, когда делала анализ, обнаружила, что нет файлов robots.txt и sitemap. Веб-мастер сказал, что он их никогда не делает. sitemap не проблема сгенерировать и обновлять, а вот robots.txt пока не совсем ясно, как корректно создать. В связи с чем вопрос: создание этих файлов - обычно задача сеошника или разраба?

Создание - разраба.
Дать четкое ТЗ что должно быть в файлах и ссылки на документацию по их правильному оформлению - SEO'шника.

В файлах robots всегда какой-нибудь треш. Если у сеошника есть доступ к корневой папке сайта, то он без проблем создаст и настроить файл роботс. Лучше, конечно, чтобы сеошник составил содержание данного файла.

Вебмастер вам создаст, но навряд ли настроит корректно, все равно придется исправлять. У каждой CMS есть свои особенности.

у хорошего сеошника роботс пустой.

Обоснуй. Пустой - отсутствует?

Ага. Пустой - отсутствует. Потому, что роботс - это почти всегда затычка, которую юзают чтобы избавиться от результата проблемы, не избавляясь от самой проблемы.

Очень мало юзкейсов когда роботс нужен. У меня почти у всех клиентов роботсы пусты.

Таким образом, перед бизнесом выбор: либо убираем дохлого лося с переговорки, либо поливаем его духами, чтоб не так вонял и продолжаем его обходить. Хороший бизнес уберет лося. Хорошие сеошники работают с хорошими бизнесами, ибо плохие никогда не нанимают качественных спецов, всегда экономя на своем рои по глупости и решают оставлять лосей дохлых, так как их дорого убирать.

Примерно так как-то.

Кстати, примерно то же самое можно сказать о сайтмапе. Ну только у него немного чаще есть польза. Если роботс может быть полезен где-то в 1% случаев, то сайтмап - в 5%.

Т.е. ты хочешь сказать, что удаляем все страницы, которые закрываем от индексации и роботс становится ненужным. Я правильно понял?

удаляем, убираем за авторизацию, сливаем с другими. Да что угодно.

И вправду почти что угодно.

Всем привет! Можете поверить, что майнить BTC быть может, просто смотря видео либо листая социальные сети? Но, это правда! Единственное, что вам нужно для этого — браузер CryptoTab. Я пользуюсь им уже давно и хочу поделиться с вами своей ссылкой https://cb.run/jrDW




@bit=