Пост опубликован:

2016-12-22

вSEO-продвижение

Рекомендации по составлению файла robots.txt

Для снижения нагрузки на сервер, вызываемой роботами поисковых систем (Яндекс, Google, Рамблер и др.), эффективным средством является размещение файла robots.txt с директивами, ограничивающими перечень адресов (URL) страниц сайта, подлежащих индексированию. Кроме того, ограничение списка индексируемых адресов позволяет запретить включение в базу данных поисковых систем нерелевантной (т.е. не имеющей ценности с точки зрения поиска в интернете) информации.

Использовать этот метод можно и для WebAsyst Shop-Script. Поскольку адреса многих страниц витрины WebAsyst Shop-Script различаются в зависимости от того, включен ли режим ЧПУ, ниже предложены отдельные рекомендации для магазинов с включенным и выключенным режимом ЧПУ.

С включенными ЧПУ

Без ЧПУ

Комментарии

Значения User-agent
User-agent: * Список User-agent поисковых роботов, к которым должны применяться указанные ниже директивы. Для применения директив к роботам всех поисковых систем используется символ *.
Для обеспечения оптимальной индексации
Sitemap: http://mydomain.ru/sitemap.php

Адрес Sitemap-файла, сформированного в разделе администрирования «Инструменты -> Sitemaps».
Для снижения нагрузки
Disallow: /pricelist/ Disallow: /*ukey=pricelist Страница прайс-листа
Disallow: /search/ Disallow: /*ukey=search Страница поиска
Disallow: /*sort= Disallow: /*sort= Страница с результатами сортировки товаров в категории
Disallow: /*/all/ Disallow: /*show_all=yes Страница со списком всех товаров в категории
Для отмены индексации нерелевантной информации
Disallow: /shop/ Disallow: /shop/ Альтернативный адрес витрины
Disallow: /auth/ Disallow: /*ukey=auth Страница входа в аккаунт покупателя
Disallow: /cart/ Disallow: /*ukey=cart Корзина с товарами
Disallow: /checkout/ Disallow: /*ukey=checkout Страница оформления заказа
Disallow: /feedback/ Disallow: /*ukey=feedback Форма обратной связи
Disallow: /installer/
Disallow: /published/wbsadmin/

Disallow: /installer/
Disallow: /published/wbsadmin/

WebAsyst Installer
Disallow: /login/ Disallow: /login/ Вход в аккаунт пользователя WebAsyst
Disallow: /logout/ Disallow: /*ukey=logout Ссылка для выхода из аккаунта покупателя
Disallow: /myaccount/ Disallow: /*ukey=office Аккаунт покупателя
Disallow: /order_status/ Disallow: /*ukey=order_status Ссылка для просмотра статуса заказа
Disallow: /published/SC/html/scripts/ Disallow: /published/SC/html/scripts/ Различные служебные скрипты (например, RSS-лента)
Disallow: /register/ Disallow: /*ukey=register Страница регистрации покупателя
Disallow: /remind_password/ Disallow: /*ukey=remind_password Ссылка для напоминания пароля покупателю
Disallow: /*view= Disallow: /*view= Служебные ссылки (например, печатная форма страницы)
Disallow: /*/reviews/ Disallow: /*ukey=discuss_product Ссылка на страницу с обсуждениями товара
Disallow: /vkontakte/ Disallow: /*store_mode=vkontakte Адрес витрины для интеграции с социальной сетью «Вконтакте»
Disallow: /facebook/ Disallow: /*store_mode=facebook Адрес витрины для интеграции с социальной сетью «Фейсбук»
Disallow: /order_status/ Disallow: /*ukey=order_status Страницы проверки статуса заказа
Disallow: /order_history/

Disallow: /*ukey=order_history

Страница со списком заказов покупателя
Disallow: /print_form/

Disallow: /*print_form Печатные формы различных документов
Disallow: /*save_voting_results=yes Disallow: /*save_voting_results=yes Страница с результатами голосования
Disallow: /category/*/offset

Disallow: /*categoryID=*&offset=

«Страницы» навигации по категориям с большим количеством товаров

Директива Crawl-delay

Снизить нагрузку, вызываемую активностью поисковых роботов можно также с помощью директивы Crawl-delay. Эта директива устанавливает минимальный промежуток времени в секундах между завершением загрузки одной страницы сайта и началом загрузки следующей страницы. Пример использования директивы:

Crawl-delay: 10

Строку с директивой Crawl-delay необходимо указывать сразу после строк с директивами Disallow или Allow.

Загрузка файла robots.txt на сервер

Если скрипты WebAsyst Shop-Script установлены на вашем собственном сервере или на площадке хостинг-провайдера, то загрузить файл robots.txt в корневой каталог интернет-магазина можно с помощью FTP-клиента либо файлового менеджера в контрольной панели хостинга (сервера).

Если вы создали интернет-магазин с помощью веб-сервисов WebAsyst, то для загрузки файла robots.txt отправьте его в службу поддержки WebAsyst через свой Центр заказчика.

Автор: