Оптимальный robots.txt для магазина Opencart

Please log in or регистрация to like posts.
Модули

Что такое файл robots.txt. Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

Для чего нужен robots.txt

1) Исключение страниц из поискового индекса той или иной поисковой системы;
    2) Оптимизация нагрузки на сайт со стороны поисковых роботов.

В Интернете довольно много примеров файла robots.txt для OpenCart. Вот оптимальный пример:

User-Agent: *
Disallow: /*.js
Disallow: /*.css
Disallow: /*.jpg
Disallow: /*.jpeg
Disallow: /*.gif
Disallow: /*.png
Disallow: /*?
Allow: /index.php?route=feed/sitemap_pro
Allow: /index.php?route=product/category&path=
Allow: /*?path=
Allow: /index.php?route=product/product&product_id=
Allow: /index.php?route=product/product&path=
Allow: /*?product_id=
Allow: /index.php?route=information/information&information_id=
Allow: /index.php?route=product/special 
User-agent: YandexImages
Disallow: /
Allow: /image/cache 
User-agent: Googlebot-Image
Disallow: /
Allow: /image/cache 
User-agent: msnbot-media
Disallow: /
Allow: /image/cache 
Sitemap: http://site.com/robot.txt

Возможно кто то знает еще что то полезное, буду рад, если поделитесь на форуме ibazh.com  или здесь.

Мнение

0
0
0
0
0
0
Уже отреагировал на этот пост.

4 comments on “Оптимальный robots.txt для магазина Opencart

  1. Если заблокировать стили, то невозможно пройти проверку на мобильную оптимизация в гугле.

  2. генерит файл со следующим содержанием
    http://domain.com.ua/sm/base.xml.gz2015-11-24http://domain.com.ua/sm/products0.xml.gz2015-11-24
    Это же не нормально?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *