| Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его
настраивали так, чтобы индексировались только страницы с информацией а
не все подряд (например страница входа или регистрации). Таким образом
сайты пользователей uCoz быстро индексируются и получают больший
приоритет нежели сайты, в которых индексируется весь мусор и ненужные
страницы. МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ.
Можете быть уверены, мы делаем все возможное, чтобы сайты наших
пользователей развивались быстрее... Иначе какой смысл uCozа?! Вот так выглядит стандартный robots.txt
Quote
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Для
нового сайта существует карантин, во время которого никакая регулировка
файла robots.txt невозможна. При хорошей посещаемости карантин
продлится до двух недель. У малопосещаемых сайтов карантин 30 дней. При
оплате какой-либо дополнительной услуги карантин заканчивается
немедленно после оплаты. Файл robots.txt,
если вы его не трогали - системный и подставляется к вашему сайту при
открытии страницы. Если вы всё-таки хотите заменить его на свой, то
создаёте в Блокноте или любом текстовом редакторе текстовый файл
названный robots.txt с нужным вам содержимым и закачиваете его в корень
сайта используя Файловый менеджер или доступ по ftp. Адрес файла robots.txt следующий - http://адрес_вашего_сайта /robots.txt Файл robots.txt сайта на карантине выглядит так: Quote User-agent: UNetBot
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat User-agent: *
Disallow: / Информеры
не индексируются поскольку выводят информацию УЖЕ существующую на
сайте. Как правило эта информация уже проиндексирована по месту
постоянной прописки. Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса. На этой странице вы можете протестироваться на предмет, что робот Яндекса не сможет посетить на вашем сайте.
Задавая вопрос по проблемам с robots.txt ОБЯЗАТЕЛЬНО давайте ссылку на свой сайт через кнопку http://. Сообщения без ссылок на сайт удаляются. Всё про robots.txt
| 
