Партнерки вебмастерам

Баннер

Кто онлайн

Сейчас 51 гостей онлайн

Статистика

Архив содержит 29 файлов в 11 категориях. На данный момент файлы скачаны 103410 раз.
Скажите как правильно закрыть данные директивы ) PDF Печать E-mail
Всем доброе утро. Кто хорошо разбирается в файле robots.txt подскажите пожалуйста как правильно закрыть директиву "component" ( честно без понятие где она находится в корне сайта) на сайте выглядит вот так - http://site.ru/component/content/frontpage/frontpage.html?start=5

и старые страницы у которых идет после имя домена http://site.ru/index.php/2010-04-16-18-30-36/

и старницы вида site.ru/.feed?type=rss$

Читал в хелпе яндекса и в различных мунуалах..но так и и понял правильно закрыл эти директории или нет...

На данный момент роботс выглядит так : 

User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10

 
User-agent: Yandex
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /components/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*/component/
Disallow: /*.feed?type=rss$
Disallow: /index.php?*
Disallow: /index.php*
Host: site.ru

User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /components/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*/component/
Disallow: /*.feed?type=rss$
Disallow: /index.php?*
Disallow: /index.php*


( Если неправильно закрыты данные директории, пожалуйста подскажите как их закрыть)  Огромное спасибо, тем кто откликнется!


 

Добавить комментарий


Защитный код
Обновить