Robots.txt и Sitemap – Ускоряем индексацию сайта

Robots.txt и Sitemap – Ускоряем индексацию сайта

Всем привет, давно не писал в блоге, времени совсем не хватает на все. Но не об этом.

Я думаю многие слышали про файл robots.txt – если не слышали, этот файл создается для поисковых роботов, в нем вы можете указать роботу какие страницы индексировать можно какие нельзя. Да и этот файл значительно ускорит вашу индексацию сайта.

Создание robots.txt

Создаем текстовый документ, под именем robots.txt и туда записываем(Если у вас WordPress вот вам мой robots.txt, который создан по всем правилам):

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.worldinseo.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap:/sitemap.xml
Подойдет для пользователей cms wordpress, если у вас другая тут сами думайте что вам изменить, ниже описано как и что значит это все.

Объясню все по порядку. Для начала строка Disallow: */ – указывает запрет индексации страницы, т.е

Disallow: /wp-admin
Запрещает нам индексировать директорию wp-admin

Строка Host: www.site.ru – указывает что, ваш сайт находиться и по адресу www.site.ru,при этом робот поисковика понимает что это зеркало вашего сайта, тем самым вы можете склеить Тиц.

Строка Sitemap указывает на ваш sitemap, о нем поговорим чуть позже. Ну вот собственно наш robots.txt. Загружаем данный файл на ваш сайт, в главный каталог.

Теперь о Sitemap’e
Sitemap – от слова «site» и «map» – что значит карта сайта.Еще не маловажный момент для ускорения индексации это как раз таки создания карты сайта.

Для WordPress, собственно есть плагин «Sitemap-Generator» его необходимо скачать и установить себе на wordpress.

И еще один плагин «DDSitemapGen» скачать – так же для создания карты сайта.

Нужно выбрать карту сайта в формате xml. После создания скачиваете созданную карту сайта и загружаете ее себе на сайт.

Эти две вещи делать обязательно для каждого сайта. Полную версию о robots.txt вы можете почитать в Яндекс Вебмастере.

На этом статейка заканчивается!

Seo – Оптимизация – Worldinseo.ru

Автор: Rolexx93

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>