Sitemap.xml и Robots.txt для блога

Robots.txt и Sitemap.xml создаём

для блога на Blogger

  С созданием карты блога для поисковых роботов Sitemap.xml на Blogger (Blogspot) до недавнего времени было все довольно сложно. Зато теперь после последних обновлений это довольно элементарное дело.
Создаём Sitemap.xml и Robots.txt
 Нужно лишь к веб-адресу блога дописать:
 /sitemap.xml,
тогда ссылка на карту для поисковых роботов будет выглядеть вот в таком виде:
Пройдя по этой ссылке можно автоматически сгенерировать карту блога для поисковых роботов и сразу же можно её закачать себе на компьютер для ознакомления. Сейчас больше не надо напрягаться с вопросом, какую ссылку предоставить поисковикам как карту сайта. С этим в настоящее время нет никакой проблемы.

  Теперь, когда нам стало известно как создать карту блога для поисковых роботов нужно об этом сообщить поисковому роботу. через информацию в файле Robots.txt. В файле можно записать о том, что нужно индексировать и определить адрес страницы sitemap.xml. При этом с проходом робота по прописанному адресу автоматически сгенерируется Sitemap.xml.
  Для этого из админки блога проходим в "НАСТРОЙКИ", затем в "Настройки Поиска" и ставим точку в кружке "Да" включая тем самым "Пользовательский файл Robots.txt". Откроется окно в котором нужно прописать, что именно вы хотите разрешить или запретить для индексации и адрес страницы карты блога для поисковых роботов Sitemap.xml на Blogger.
  По умолчанию в файле robots.txt прописано следующее:

User-agent: Mediapartners-Google
Disallow:


User-agent: *
Disallow: /search
Allow: /


Sitemap: http://
ob-bl.blogspot.ru/feeds/posts/default?orderby=UPDATED

  Объяснять что к чему не обязательно, а кто разбирается - поймет.
Вы же должны в файл Robots.txt скопировать и вставить следующий скрипт:

User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex 
Disallow: /search 
Disallow: /p/search.html 
Allow: /

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://ob-bl.blogspot.ru/sitemap.xml

  После вставки обязательно замените домен этого блога, выделенный красным цветом, на домен своего блога. Не забудьте сохранить изменения в файле robots.txt.
  Теперь надо настроить персонализированные теги robots для заголовков. Включение их находится сразу под настройкой файла robots.txt. Чтобы правильно настроить персонализированные теги robots посмотрите на картинку и расставьте галочки также как это сделано на ней. По окончании сохраните настройки.
  Таким образаом теперь создан файл Robots.txt в котором прописан веб-адрес к странице карты блога для поисковых роботов Sitemap.xml на Blogger. Заодно настроены и персонализированные теги robots для заголовков. Посмотреть его можно по адресу: http://ob-bl.blogspot.ru/robots.txt
  Проверить наличие вновь созданного файла Sitemap.xml, а также корректность его с точки зрения Яндекса можно в Яндекс-мастере с помощью валидатора файлов Sitemap. Для этого кликните по картинке.
  В открывшейся вкладке выберите источник данных для проверки - по ссылке. В появившемся окошке введите адрес файла Sitemap.xml. Для этого блога адрес файла выглядит следующим образом: 
http://ob-bl.blogspot.ru/sitemap.xml
  Вместо доменного имени данного блога вам нужно будет подставить доменое имя своего блога.