При посещении вашего сайта все поисковые роботы первым делом ищут файл robots.txt . Каждый начинающий веб-мастер должен знать назначение этого файла и как с ним работать .
Файл robots.txt - это текстовый файл , который должен находиться в корневой директории вашего сайта . В нём прописываются инструкции для поведения поисковых роботов на вашем сайте . Данные инструкции могут запретить индексировать некоторые разделы или страницы сайта , задавать поисковому роботу минимальный период времени между закачками страниц , запретить роботу перекачивать дублирующуюся информацию и т.д.
Создание файла robots.txt
Для создания файла robots.txt можно использовать любой текстовый редактор (Блокнот , WordPadom и т.д) . Создайте файл с названием "robots.txt" и загрузите его в корневую директорию своего сайта .
Если вы не хотите ничего запрещать поисковым роботам , то файл robots.txt делается пустым и закачивается в корень сайта .
Если же вы решили что-то запретить всем поисковым роботам или отдельно взятому роботу , то вам будет необходимо изучить , как это нужно сделать правильно , не навредив своему сайту .
Размещение файла robots.txt на сайте
Размещать файл robots.txt необходимо только в корень сайте , т.е. в корневую директорию сайта .
Если ваш сайт имеет URL-адрес , например , http:// www. 3b.org/ , то файл robots.txt должен находиться по такому URL-адресу - http:// www. 3b.org/robots. txt .
На вашем сайте может быть только один файл robots.txt
Что и как прописывать в файле robots.txt .
Приведу несколько примеров :
Запретить весь сайт для индексации всеми роботами
Code
User-agent :*
Disallow : /
Разрешить всем роботам индексировать весь сайт
Code
User-agent :*
Disallow :
Либо просто создаётся пустой файл robots.txt
Закрыть от роботов несколько директорий сайта
Code
User-agent :*
Disallow : /cgi-bin/
Disallow : /tmp/
Disallow : /private/
Запретить индексировать сайт только одному роботу
В Disallow прописывается значок " / " , а в User-agent прописывается имя робота . Пример :
Code
User-agent : BadBot
Disallow : /
Разрешить индексировать сайт одному роботу и запретить всем остальным
Code
User-agent : Yandex
Disallow :
User-agent :*
Disallow : /
Запретить к индексации все файлы кроме одного
Здесь вам стоит поработать , т.к. не существует инструкции "Allow" . Можно воспользоваться двумя способами :
1. Переместить все файлы , кроме одного , который вы хотите разрешить к индексации , в поддерикторию и запретить её индексацию :
Code
User-agent :*
Disallow : /docs/
2. Запретить все запрещённые к индексации файлы :
Code
User-agent :*
Disallow : /private.html
Disallow : /foo.html
Disallow : /bar.html
Disallow : и т.д .
Источник: webmastak.ucoz.ru
