Статьи

Первая статья в этой категории - Robots.txt

          Robots.txt - Вы явно слышали что это такое? - нет, не может быть. Определение данного термина - текстовый файл, что содержит параметры индексирования роботов поисковых систем. Теперь поняли? - нет. - проще говоря это файл который говорит поисковику вот это смотри, а вот сюда нельзя!!!

 

 

Вообщем упустим много деталей, начнем... Создаем блокнот с названием Robots.txt открываем его и в нем должно быть следующее:

 

User-agent: *
Disallow:

 

 

это означает что разрешается индексация вашего сайта всеми роботами и во всех категория вашего сайта. и заливаем его в корневую дерикторию вашего сайта то есть будет пример такой: http://wr.at.ua/robots.txt . Для всех пользователей ucoz, скажу следующее что первый месяц Ваш сайт на карантине, по этому он по умолчанию будет запрещать индексацию вашего сайта, увы, ну или оплатите услуги премиум пользователя.

 

 

 

Для более продвинутых разберем данный блокнот .

 

User-agent: *  # значение этого поля это имя робота к которому будут применяться те или иные ограничения. если значение робота "*" то параметры устанавливаются ко всем роботам, кстати если у вас есть одна прописка с звездочкой то все остальные не будут действовать. Это значит что ограничивать нужно без использования *

 

 

теперь перейдем к второй строке

Disallow:  # в записи должно быть хотя бы одно поле. в этом поле указывается путь который будет запрещен к индексации, но если его оставить пустым то будет разрешен доступ везде

 

 

так а теперь перейдем к практике связанной с этими выражениями

если в 

Disallow: /blog

 

то 

http://wr.at.ua/blog/1-0-1 

http://wr.at.ua/blog/1-0-2

http://wr.at.ua/blog/1-0-3

 

будут запрещены к индексации так как вся галерея /blog блокируется и все что в ней.

 

Примеры:

User-agent: *
Disallow: /news
  # запретить всем роботам индексировать ссылки,
  #которые начинаются с /news, то есть "/news/rss"; "/news/load/1-13/ckachat_muzuky";

User-agent: Yandex
User-agent: Aport
Disallow: /load
Disallow: /news
  #Яндексу и Апорту запретить индексацию ссылок,
  #которые начинаются с /news и /load

User-agent: Google
Disallow:
#Google разрешить все.

 

 

Как итог могу сказать следующее, что не все роботы воспринимают данный файл, так как есть проходят через все ради какой то информации, можно сказать что эти ограничения используют только "культурные" роботы. Да и так же могу сказать что не следует прописывать в файле Robots.txt  в поле Disalow: /admin так как это может только спровоцировать некоторых посетителей к вредоносным действиям. Можно было написать про динамические страницы и запрет индексации pdf файлов, но по моему мнению, этого лучше не делать.

 



Советуем к просмотру:

Сохраните в социальную сеть
Источник материала

Комментарии
Комментариев пока нет, вы можете оставить комментарий первым.
Оставить комментарий
avatar