Sitemap.xml и Robots.txt для блога

Robots.txt и Sitemap.xml создаём
для блога на Blogger


С созданием карты блога для поисковых роботов Sitemap.xml на Blogger (Blogspot) до недавнего времени было все довольно сложно. Зато теперь после последних обновлений это довольно элементарное дело. Нужно лишь к веб-адресу блога дописать:
 /sitemap.xml,
тогда ссылка на карту для поисковых роботов будет выглядеть вот в таком виде:
Пройдя по этой ссылке можно автоматически сгенерировать карту блога для поисковых роботов и сразу же можно её закачать себе на компьютер для ознакомления. Сейчас больше не надо напрягаться с вопросом, какую ссылку предоставить поисковикам как карту сайта. С этим в настоящее время нет никакой проблемы.
Создаём Sitemap.xml и Robots.txt
Теперь, когда нам стало известно как создать карту блога для поисковых роботов нужно об этом сообщить поисковому роботу. через информацию в файле Robots.txt. В файле можно записать о том, что нужно индексировать и определить адрес страницы sitemap.xml. При этом с проходом робота по прописанному адресу автоматически сгенерируется Sitemap.xml.
Для этого из админки блога проходим в "НАСТРОЙКИ", затем в "Настройки Поиска" и ставим точку в кружке "Да" включая тем самым "Пользовательский файл Robots.txt". Откроется окно в котором нужно прописать, что именно вы хотите разрешить или запретить для индексации и адрес страницы карты блога для поисковых роботов Sitemap.xml на Blogger.
По умолчанию в файле robots.txt прописано следующее:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ob-bl.blogspot.com/feeds/posts/default?orderby=UPDATED

Объяснять что к чему не обязательно, а кто разбирается - поймет. Вы же должны в файл Robots.txt скопировать и вставить следующий скрипт:

User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex 
Disallow: /search 
Disallow: /p/search.html 
Allow: /

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://ob-bl.blogspot.com/sitemap.xml


После вставки обязательно замените домен этого блога, выделенный красным цветом, на домен своего блога. Не забудьте сохранить изменения в файле robots.txt.

Настройка персональных тегов Robots.txt

Теперь надо настроить персонализированные теги robots для заголовков. Включение их находится сразу под настройкой файла robots.txt. Чтобы правильно настроить персонализированные теги robots посмотрите на картинку и расставьте галочки также как это сделано на ней. По окончании сохраните настройки.
Настройка персонализированных тегов robots для заголовков.
Таким образаом теперь создан файл Robots.txt в котором прописан веб-адрес к странице карты блога для поисковых роботов Sitemap.xml на Blogger. Заодно настроены и персонализированные теги robots для заголовков. Посмотреть его можно по адресу: http://ob-bl.blogspot.com/robots.txt

Проверка наличия файла Sitemap.xml

Проверить наличие вновь созданного файла Sitemap.xml, а также корректность его с точки зрения Яндекса можно в Яндекс-мастере с помощью валидатора файлов Sitemap. Для этого кликните по картинке.
Валидатор файлов Sitemap
В открывшейся вкладке выберите источник данных для проверки - по ссылке - URL. В появившемся окошке введите адрес файла Sitemap.xml. Для этого блога адрес файла выглядит следующим образом: 
http://ob-bl.blogspot.com/sitemap.xml
Вместо доменного имени данного блога вам нужно будет подставить доменое имя своего блога.

19 комментариев:

  1. Привет. Почти всё получилось. Единственной при проверке на яндексе выдаёт ошибку "Произошла внутренняя ошибка. Попробуйте повторить попытку позже." При попытке создать робофайл на сторонних ресурсах тоже выдаёт ошибку "Прочие ошибки при сканировании(1):
    Переадресация на http://svitovikazki.blogspot.de/ http://svitovikazki.blogspot.com/"

    ОтветитьУдалить
  2. А ссылки все что относятся к блогу прописывать не надо? или яндекс сам отыщет нужные

    ОтветитьУдалить
  3. спасибо очень помогли. Все получилось

    ОтветитьУдалить
  4. Здравствуйте у меня есть блог www.remdivana.blogspot.com Подскажите что нужно сделать, чтобы сверху над сообщениями высвечивались страницы в горизонтальном списке.

    ОтветитьУдалить
  5. Спасибо, все четко и по делу!)

    ОтветитьУдалить
  6. В первый раз слетело почему-то, второй раз получилось, спасибо!

    ОтветитьУдалить
  7. Спасибо за полезную статью! Мира вам, счастья и удачи во всех делах

    ОтветитьУдалить
  8. Подскажите только у меня так или у всех, при в http://home-bookkeeping-in-google-table.blogspot.com/sitemap.xml отображает только сообщения а страницы нет.
    Моно ли как-то это исправть?

    ОтветитьУдалить
    Ответы
    1. вот и у меня та же фигня... пока не нашла ответ

      Удалить
  9. очень полезно спасибо большое, только спам слева про бесплатные авиабилеты напрягает

    ОтветитьУдалить
  10. Автор, спасибо. Доходчиво всё написано. Всё настроил в яндексе - анализаторе всё проверил. Всё ровно. Теперь мой блог: https://prostokomp.blogspot.com.by будет ещё лучше.

    ОтветитьУдалить
  11. Огромное-огромное спасибо! Получилось сразу. Объяснили всё чётко, подробно, без "мути". Последовательность и чёткость = результат. Здоровья вам и процветания ваших помыслов!

    ОтветитьУдалить
  12. Вроде сделал все четко как описано, но выдает неправильный адрес страницы blogbednogokorolya.blogspot.ru/sitemap.xml
    толи я дурак, толи лыжи не едут

    ОтветитьУдалить
  13. Всё понятно, спасибо! Но мне не ясно, как искать корневую директорию для добавления сгенерированного файла sitemap? Ни один вебмастер блогспота это не рассказывает. Бьюсь уже месяц.
    И ещё вопрос. Создавать файл sitemap.xml нужно по всем версиям одного сайта - с WWW, httр, https? Или выбрать тот URL, который выходит в окне браузера? В вебмастер гугл и яндекс у меня добавены все версии сайта. Заранее спасибо за ответ новичку.

    ОтветитьУдалить
  14. Спасибо за полезную и важную информацию. Моему блогу на блогспот 7 мес, ещё работать и работать. У меня вопросы. Создавать файл sitemap.xml нужно по всем версиям одного сайта - с WWW, httр, https? Или выбрать тот URL, который выходит в окне браузера? В вебмастер гугл и яндекс у меня добавены все версии сайта.
    Мне ещё не ясно, как искать корневую директорию на блоггере? Везде пишут, что файл sitemap нужно добавить туда. Ни один вебмастер это не рассказывает. Сканируются все статьи блога, а индексируются только 4 из 65. Может ли в файле быть отгадка? Робот txt составлен без запрещений. Заранее спасибо за ответ новичку.

    ОтветитьУдалить
  15. Как заставить яндекс видеть robots.txt?
    302 ошибка при индексации

    ОтветитьУдалить
  16. Благодарю за подсказку! Настроила, буду ожидать реакции ПС.

    ОтветитьУдалить
  17. Вы потрясающая! Все легко и понято! Спасибо!

    ОтветитьУдалить