Для снижения нагрузки на сервер, вызываемой роботами поисковых систем (Яндекс, Google, Рамблер и др.), эффективным средством является размещение файла robots.txt с директивами, ограничивающими перечень адресов (URL) страниц сайта, подлежащих индексированию. Кроме того, ограничение списка индексируемых адресов позволяет запретить включение в базу данных поисковых систем нерелевантной (т.е. не имеющей ценности с точки зрения поиска в интернете) информации.
Использовать этот метод можно и для WebAsyst Shop-Script. Поскольку адреса многих страниц витрины WebAsyst Shop-Script различаются в зависимости от того, включен ли режим ЧПУ, ниже предложены отдельные рекомендации для магазинов с включенным и выключенным режимом ЧПУ.
С включенными ЧПУ |
Без ЧПУ |
Комментарии |
| Значения User-agent | ||
| User-agent: * | Список User-agent поисковых роботов, к которым должны применяться указанные ниже директивы. Для применения директив к роботам всех поисковых систем используется символ *. | |
| Для обеспечения оптимальной индексации |
||
| Sitemap: http://mydomain.ru/sitemap.php | Адрес Sitemap-файла, сформированного в разделе администрирования «Инструменты -> Sitemaps». | |
| Для снижения нагрузки | ||
| Disallow: /pricelist/ | Disallow: /*ukey=pricelist | Страница прайс-листа |
| Disallow: /search/ | Disallow: /*ukey=search | Страница поиска |
| Disallow: /*sort= | Disallow: /*sort= | Страница с результатами сортировки товаров в категории |
| Disallow: /*/all/ | Disallow: /*show_all=yes | Страница со списком всех товаров в категории |
| Для отмены индексации нерелевантной информации | ||
| Disallow: /shop/ | Disallow: /shop/ | Альтернативный адрес витрины |
| Disallow: /auth/ | Disallow: /*ukey=auth | Страница входа в аккаунт покупателя |
| Disallow: /cart/ | Disallow: /*ukey=cart | Корзина с товарами |
| Disallow: /checkout/ | Disallow: /*ukey=checkout | Страница оформления заказа |
| Disallow: /feedback/ | Disallow: /*ukey=feedback | Форма обратной связи |
| Disallow: /installer/ Disallow: /published/wbsadmin/ | Disallow: /installer/ Disallow: /published/wbsadmin/ | WebAsyst Installer |
| Disallow: /login/ | Disallow: /login/ | Вход в аккаунт пользователя WebAsyst |
| Disallow: /logout/ | Disallow: /*ukey=logout | Ссылка для выхода из аккаунта покупателя |
| Disallow: /myaccount/ | Disallow: /*ukey=office | Аккаунт покупателя |
| Disallow: /order_status/ | Disallow: /*ukey=order_status | Ссылка для просмотра статуса заказа |
| Disallow: /published/SC/html/scripts/ | Disallow: /published/SC/html/scripts/ | Различные служебные скрипты (например, RSS-лента) |
| Disallow: /register/ | Disallow: /*ukey=register | Страница регистрации покупателя |
| Disallow: /remind_password/ | Disallow: /*ukey=remind_password | Ссылка для напоминания пароля покупателю |
| Disallow: /*view= | Disallow: /*view= | Служебные ссылки (например, печатная форма страницы) |
| Disallow: /*/reviews/ | Disallow: /*ukey=discuss_product | Ссылка на страницу с обсуждениями товара |
| Disallow: /vkontakte/ | Disallow: /*store_mode=vkontakte | Адрес витрины для интеграции с социальной сетью «Вконтакте» |
| Disallow: /facebook/ | Disallow: /*store_mode=facebook | Адрес витрины для интеграции с социальной сетью «Фейсбук» |
| Disallow: /order_status/ | Disallow: /*ukey=order_status | Страницы проверки статуса заказа |
| Disallow: /order_history/ | Disallow: /*ukey=order_history | Страница со списком заказов покупателя |
| Disallow: /print_form/ | Disallow: /*print_form | Печатные формы различных документов |
| Disallow: /*save_voting_results=yes | Disallow: /*save_voting_results=yes | Страница с результатами голосования |
| Disallow: /category/*/offset | Disallow: /*categoryID=*&offset= | «Страницы» навигации по категориям с большим количеством товаров |
Директива Crawl-delay
Снизить нагрузку, вызываемую активностью поисковых роботов можно также с помощью директивы Crawl-delay. Эта директива устанавливает минимальный промежуток времени в секундах между завершением загрузки одной страницы сайта и началом загрузки следующей страницы. Пример использования директивы:
Crawl-delay: 10
Строку с директивой Crawl-delay необходимо указывать сразу после строк с директивами Disallow или Allow.
Загрузка файла robots.txt на сервер
Если скрипты WebAsyst Shop-Script установлены на вашем собственном сервере или на площадке хостинг-провайдера, то загрузить файл robots.txt в корневой каталог интернет-магазина можно с помощью FTP-клиента либо файлового менеджера в контрольной панели хостинга (сервера).
Если вы создали интернет-магазин с помощью веб-сервисов WebAsyst, то для загрузки файла robots.txt отправьте его в службу поддержки WebAsyst через свой Центр заказчика.
