Приветствую Вас Гость | RSS

FIREISER

Воскресенье, 22.10.2017, 20:54
Главная » Статьи » Интернет » Веб-мастеру

Все что нужно знать о Robots.txt
В этой статье описан тот необходимый минимум, который нужно знать о индексации сайта поисковиками, а именно - robots.txt

Если у Вас есть сайт и Вы добавили его на индексацию в поисковики через специальные ссылки AddUrl (если Вы этого еще не сделали - Вам сюда), то в корень сайта необходимо добавить текстовый файл robots.txt, который можно (а даже нужно) создать в обычном стандартном приложении Блокнот.

Немного терминологии:

User-agent: - указывает, каким поисковикам можно будет индексировать сайт
Allow: - указывает, какие директории сайта или страницы можно индексировать
Disallow: - указывает, какие директории или страницы сайта запрещено индексировать
Host: - указывает на основное зеркало сайта
Sitemap: - указывает путь к карте сайта

Примеры оформления файлов robots.txt:

Разрешает индексировать все страницы сайта всем поисковикам:

User-agent: *
Allow: /

Запрещает Яндексу индексировать сайт:

User-agent: Yandex
Disallow: /

Разрешает Google индексировать сайт, основное зеркало сайта - fireiser.org, карта сайта находится по ссылке http://fireiser.org/sitemap.xml:

User-agent: GoogleBot
Allow: /
Host: fireiser.org
Sitemap: http://fireiser.org/sitemap.xml

Разрешает Яндексу и Google индексировать директорию /images и запрещает директории /search и /groups

User-agent: Yandex, GoogleBot
Allow: /images
Disallow: /search
Disallow: /groups

Конечно, я многое не описал, но необходимый минимум дал :)
Ознакомиться с файлами robots.txt можно на каждом сайте, например http://www.google.com/robots.txt или http://www.skype.com/robots.txt
Категория: Веб-мастеру | Добавил: Fireiser (16.12.2012)
Просмотров: 383 | Теги: google, Индексация, поиск, txt, Робот, robots.txt, Robots, yandex | Рейтинг: 0.0/0
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]