Sitemap.xml и Robots.txt для блога

Robots.txt и Sitemap.xml создаём
для блога на Blogger

С созданием карты блога для поисковых роботов Sitemap.xml на Blogger (Blogspot) до недавнего времени было все довольно сложно. Зато теперь после последних обновлений это довольно элементарное дело. Нужно лишь к веб-адресу блога дописать:

 /sitemap.xml,

тогда ссылка на карту для поисковых роботов будет выглядеть вот в таком виде:

http://ob-bl.blogspot.com/sitemap.xml.

Пройдя по этой ссылке можно автоматически сгенерировать карту блога для поисковых роботов и сразу же можно её закачать себе на компьютер для ознакомления. Сейчас больше не надо напрягаться с вопросом, какую ссылку предоставить поисковикам как карту сайта. С этим в настоящее время нет никакой проблемы.

Теперь, когда нам стало известно как создать карту блога для поисковых роботов нужно об этом сообщить поисковому роботу. через информацию в файле Robots.txt. В файле можно записать о том, что нужно индексировать и определить адрес страницы sitemap.xml. При этом с проходом робота по прописанному адресу автоматически сгенерируется Sitemap.xml.

Для этого из админки блога проходим в "НАСТРОЙКИ", затем в "Настройки Поиска" и ставим точку в кружке "Да" включая тем самым "Пользовательский файл Robots.txt". Откроется окно в котором нужно прописать, что именно вы хотите разрешить или запретить для индексации и адрес страницы карты блога для поисковых роботов Sitemap.xml на Blogger.

По умолчанию в файле robots.txt прописано следующее:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ob-bl.blogspot.com/feeds/posts/default?orderby=UPDATED

Объяснять что к чему не обязательно, а кто разбирается - поймет. Вы же должны в файл Robots.txt скопировать и вставить следующий скрипт:

User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex 
Disallow: /search 
Disallow: /p/search.html 
Allow: /

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://ob-bl.blogspot.com/sitemap.xml

После вставки обязательно замените домен этого блога, выделенный красным цветом, на домен своего блога. Не забудьте сохранить изменения в файле robots.txt.

Настройка персональных тегов Robots.txt

Теперь надо настроить персонализированные теги robots для заголовков. Включение их находится сразу под настройкой файла robots.txt. Чтобы правильно настроить персонализированные теги robots посмотрите на картинку и расставьте галочки также как это сделано на ней. По окончании сохраните настройки.

Таким образаом теперь создан файл Robots.txt в котором прописан веб-адрес к странице карты блога для поисковых роботов Sitemap.xml на Blogger. Заодно настроены и персонализированные теги robots для заголовков. Посмотреть его можно по адресу: http://ob-bl.blogspot.com/robots.txt

Проверка наличия файла Sitemap.xml

Проверить наличие вновь созданного файла Sitemap.xml, а также корректность его с точки зрения Яндекса можно в Яндекс-мастере с помощью валидатора файлов Sitemap. Для этого кликните по картинке.

В открывшейся вкладке выберите источник данных для проверки - по ссылке - URL. В появившемся окошке введите адрес файла Sitemap.xml. Для этого блога адрес файла выглядит следующим образом: 

http://ob-bl.blogspot.com/sitemap.xml

Вместо доменного имени данного блога вам нужно будет подставить доменое имя своего блога.