Приветствую Вас Гость • Регистрация • Вход • Конкурс
Суббота, 8.2.2025
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Активные пользователи
ck-vladimir
Репутация:0
Постов: 452
Файлов: 0
SHIISH
Репутация:387
Постов: 254
Файлов: 635
vladimir_annim
Репутация:0
Постов: 252
Файлов: 0
anyhacking
Репутация:0
Постов: 57
Файлов: 0
XakPass
Репутация:0
Постов: 57
Файлов: 0

Уважаемый гость, добро пожаловать на форум I SELL, рекомендуем ЗАРЕГИСТРИРИРОВАТЬСЯ или ВОЙТИ под своим логином и вы сможете общаться, узнавать секреты, делиться советами, задавать вопросы, смотреть видео-уроки и многие другие возможности откроются для вас после регистрации.
  • Страница 1 из 1
  • 1
Файл robots.txt
SHIISHДата: Суббота, 25.08.2012, 15:50 | Сообщение # 1
Генерал-майор
Группа: Администраторы
Сообщений: 254
Репутация: 387
Статус: Offline
При посещении вашего сайта все поисковые роботы первым делом ищут файл robots.txt . Каждый начинающий веб-мастер должен знать назначение этого файла и как с ним работать .

Файл robots.txt - это текстовый файл , который должен находиться в корневой директории вашего сайта . В нём прописываются инструкции для поведения поисковых роботов на вашем сайте . Данные инструкции могут запретить индексировать некоторые разделы или страницы сайта , задавать поисковому роботу минимальный период времени между закачками страниц , запретить роботу перекачивать дублирующуюся информацию и т.д.

Создание файла robots.txt

Для создания файла robots.txt можно использовать любой текстовый редактор (Блокнот , WordPadom и т.д) . Создайте файл с названием "robots.txt" и загрузите его в корневую директорию своего сайта .

Если вы не хотите ничего запрещать поисковым роботам , то файл robots.txt делается пустым и закачивается в корень сайта .

Если же вы решили что-то запретить всем поисковым роботам или отдельно взятому роботу , то вам будет необходимо изучить , как это нужно сделать правильно , не навредив своему сайту .

Размещение файла robots.txt на сайте

Размещать файл robots.txt необходимо только в корень сайте , т.е. в корневую директорию сайта .

Если ваш сайт имеет URL-адрес , например , http:// www. 3b.org/ , то файл robots.txt должен находиться по такому URL-адресу - http:// www. 3b.org/robots. txt .

На вашем сайте может быть только один файл robots.txt

Что и как прописывать в файле robots.txt .
Приведу несколько примеров :


Запретить весь сайт для индексации всеми роботами

Code
User-agent :*
     Disallow : /


Разрешить всем роботам индексировать весь сайт

Code
User-agent :*
     Disallow :


Либо просто создаётся пустой файл robots.txt

Закрыть от роботов несколько директорий сайта

Code
User-agent :*
     Disallow : /cgi-bin/
     Disallow : /tmp/
     Disallow : /private/


Запретить индексировать сайт только одному роботу

В Disallow прописывается значок " / " , а в User-agent прописывается имя робота . Пример :
Code
User-agent : BadBot
     Disallow : /


Разрешить индексировать сайт одному роботу и запретить всем остальным

Code
User-agent : Yandex
     Disallow :
     User-agent :*
     Disallow : /


Запретить к индексации все файлы кроме одного

Здесь вам стоит поработать , т.к. не существует инструкции "Allow" . Можно воспользоваться двумя способами :

1. Переместить все файлы , кроме одного , который вы хотите разрешить к индексации , в поддерикторию и запретить её индексацию :
Code
User-agent :*
     Disallow : /docs/

2. Запретить все запрещённые к индексации файлы :
Code
User-agent :*
     Disallow : /private.html
     Disallow : /foo.html
     Disallow : /bar.html
     Disallow : и т.д .


Источник: webmastak.ucoz.ru
 
  • Страница 1 из 1
  • 1
Поиск: