Статьи
как самому написать Robot.txt, Robot.txt для системы uCoz, Robot.txt

Как самому написать Robot.txt для системы uCoz

В этой статье мы разберемся как самому написать Robot.txt для системы uCoz. Мы уже вспоминали данный документ в другой статье, но данная статья пойдет про специальные настройки  для системы  uCoz.

Robot.txt – текстовый файл, который задает для поисковых роботов специальные правила индексации страниц сайта, а именно разрешает либо же запрещает индексацию данной страницы. 

Кстати говоря, если Вам uCoz установил «карантин», то изменение данного текстового документа нечего не изменит. Для того чтоб снять «карантин» нужно, заполнить сайт «качественным» контентом и создать дизайн для сайта и после чего подать заявку на снятие ограничения. В противном случае подать заявку можно будет только через 7 дней.
СКак самому написать robots.txt, robots.txt для uCoz

Вот такого формата должен быть Robot.txt. Почему? - я объясню ниже.. 

Код

User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?  
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  

Disallow: /shop/checkout/  

Disallow: /shop/user/  

Disallow: /*0-*-0-17$  

Disallow: /*-0-0-  



Sitemap: http://ugrade.ru/sitemap.xml  

Sitemap: <a href="http://ugrade.ru/sitemap-forum.xml">http://ugrade.ru/sitemap-forum.xml</a>

Что входит в Robot.txt

В начале написания, мы обращаемся к какому то роботу например: YandexBot, Googlebot. С названия понятно, что это боты Яндекса и Google.

А для всех ботов выражение прописывается
User-agent: *

После чего мы разрешаем или запрещаем роботам просмотр данной страницы, исполняется это в Disallow (запрет) и Allow (разрешение).

Используя данные параметры можно запретить к примеру индексацию ботом Яндекса Вашего раздела форума. Или как пример мы запрещаем просмотр директории новости:
User-agent: *
Disallow: /news/
 
Как самому написать robots.txt, robots.txt для uCoz

Для запрещения раздела без его содержания, но конце ставим спецсимвол $
User-agent: *
Disallow: /news$
Таким образом «/news» запрещена, а «/news/123_new_seo» разрешена.
Можно сделать запрет индексации дублей страниц
Disallow: /*&*

# данный спецсимвол разрешает вставлять комментарии в Robot.txt

User-agent: * # разрешаю Вам смотреть мой сайт

Disallow: /news$ # не хочу данную категорию

Disallow: /*&* # дубли прощайте
 

Карта сайта (sitemap.xml) в Robot.txt.

Обязательно стоит sitemap.xml указывать в Robot.txt, да бы получить быструю индексацию страниц сайта, ведь без добавления карты сайта поисковик может неделями искать страницу.
Для проверки карты сайта воспользуйтесь Сервисом Яндекс Вебмастер

https://webmaster.yandex.ru/robots.xml

Стандартный robot.txt на uCoz


  • User-agent: * — касается всех ботов
  • Allow: /*?page — разрешить к индексации страницы пагинации
  • Allow: /*?ref= — разрешить доступ к страницам социальной авторизации;
  • Allow: /stat/dspixel — разрешить доступ к системномной статистики;
  • Disallow: /*? — запретить индексировать URL с параметрами;
  • Disallow: /stat/ — запретить индексацию URL статистики;
  • Disallow: /index/1 — запретить индексацию Страницы входа;
  • Disallow: /index/3 — запретить индексацию страницы регистрации;
  • Disallow: /register — запретить индексацию страницы регистрации;
  • Disallow: /index/5 — запретить индексацию системного URL восстановления пароля;
  • Disallow: /index/7 — запретить индексацию системного Меню аватарок;
  • Disallow: /index/8 — запретить индексацию пользовательских профилей;
  • Disallow: /index/9 — запретить индексацию системного URL Истории репутации;
  • Disallow: /index/sub/ — запретить индексацию системного URL;
  • Disallow: /panel/ — запретить индексацию ПУ;
  • Disallow: /admin/ — запретить индексацию ПУ;
  • Disallow: /informer/ — запретить индексацию системных информеров;
  • Disallow: /secure/ — запретить индексацию системной капчи;
  • Disallow: /poll/ — запретить индексацию опросов;
  • Disallow: /search/ — запретить индексацию страниц поиска;
  • Disallow: /abnl/ — запретить индексацию системных URL;
  • Disallow: /*_escaped_fragment_= — дополнительный запрет на индексацию системных URL;
  • Disallow: /*-*-*-*-987$ — запрет дублей страниц в модулях Новости и Блог, связанных с кодом комментариев на странице;
  • Disallow: /shop/checkout/ — запрет на индексацию Корзины для модуля uShop;
  • Disallow: /shop/user/ — запрет на индексацию пользовательских профилей для модуля uShop;
  • Disallow: /*0-*-0-17$ — дополнительный запрет на индексацию системных URL;
  • Disallow: /*-0-0- — запрет к индексации страниц добавления материалов, списков материалов пользователей, ленточного варианта форума (некоторые дублирующие URL), страниц со списком пользователей (некоторые дублирующие URL), поиска по форуму, правил форума, добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы;
  • Sitemap: http://вашсайт.ru/sitemap.xml — ссылка на общую карту сайта;
  • Sitemap: http://вашсайт.ru/sitemap-forum.xml — ссылка на карту форума;
  • Sitemap: http://вашсайт.ru/sitemap-shop.xml — ссылка на карту магазина.
Советуем к просмотру:                 Вывод: Не стоит притрагиваться к стандартному robots.txt если не считаете что нужно, что то открыть для индексации, например я считаю что нужно открыть страницу поиска материалов, так как много НЧ запросов проходят по таким же ссылкам с поиска.

Советуем к просмотру:

Сохраните в социальную сеть
Источник материала

Комментарии
19:54, 03.12.2015

Интересная статья для системи uCoz. Проверка комментариев

Оставить комментарий
avatar