Sitemap-карта сайта: как сделать и как проверить

Поисковому роботу недостаточно просто знать адрес главной страницы. Он должен находить разделы, статьи, карточки товаров и другие документы, которые владелец ресурса хочет показывать пользователям. На небольших проектах с этим часто справляется внутренняя перелинковка. Но чем крупнее становится ресурс, тем сложнее поисковику быстро обнаруживать все нужные URL.

Здесь помогает Sitemap — специальный файл со списком страниц. Чаще всего его создают в формате XML. Такая карта не заменяет внутренние ссылки и не заставляет поисковую систему индексировать перечисленные адреса. Ее задача гораздо практичнее: дать роботу структурированный список URL, которые стоит учитывать при обходе сайта.

Разберемся, где искать такой файл, как его создать, какие страницы туда добавлять и что проверить перед отправкой в поисковые системы.

Нет. Под названием «карта сайта» скрываются два разных инструмента.
HTML-карта представляет собой обычную страницу сайта со ссылками. Ее могут использовать посетители, чтобы быстрее перейти в нужный раздел.
XML-вариант создается для поисковых роботов. Пользователь обычно не взаимодействует с ним, хотя файл можно открыть в браузере и посмотреть его содержимое.
Поэтому запрос «карта сайта Sitemap XML» относится именно к техническому файлу, а не к странице с визуальным перечнем разделов.
Оба варианта могут существовать одновременно и решать разные задачи.

Если URL уже известен, ничего устанавливать не нужно. Просто вставьте адрес файла в браузер.
Например:
https://example.com/sitemap.xml
Если это XML-документ, вы увидите список URL либо XML-структуру файла.
Для самостоятельной проверки полезно посмотреть не только начало документа. Пролистайте несколько записей из разных частей списка и убедитесь, что там находятся реальные страницы, а не технические адреса.
Если вместо содержимого появляется ошибка сервера или страница 404, сначала нужно исправить доступ к файлу.
Когда адрес неизвестен, порядок действий такой:

1. Открыть robots.txt.
2. Найти строку Sitemap.
3. Перейти по указанному адресу.
4. Проверить несколько URL внутри.
5. Если строки нет — посмотреть настройки CMS или SEO-плагина.

Способ зависит от того, на чем работает проект.
Если Sitemap умеет создавать CMS
Для большинства современных сайтов это самый удобный вариант. Система сама формирует файл и добавляет в него новые страницы.
Плюс очевиден: владельцу не приходится вручную следить за каждой публикацией.
Но автоматическая генерация не освобождает от контроля. Например, после установки нового плагина в файл могут попасть служебные URL, страницы фильтрации или другие адреса, которые не нужны поисковой системе.
Поэтому после включения функции генерации стоит один раз внимательно посмотреть содержимое.
Если сайт небольшой и статический
Когда страниц немного, XML можно собрать самостоятельно или воспользоваться генератором.
Главное — получить корректный документ и разместить его на сервере. Например:
<?xml version="1.0″ encoding="UTF-8″?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/</loc>
</url>
<url>
<loc>https://example.com/about/</loc>
</url>
<url>
<loc>https://example.com/contacts/</loc>
</url>
</urlset>

Для каждого документа используется отдельный элемент <url>.
Если ресурс будет регулярно расти, ручной способ быстро становится неудобным. В таком случае лучше настроить автоматическое обновление.
Если страниц очень много
Большой проект не обязательно должен помещать все адреса в один документ. Sitemap разбивают на несколько файлов, а затем объединяют их через индекс.
Например:
sitemap-products.xml
sitemap-categories.xml
sitemap-blog.xml

Индекс может выглядеть так:
<?xml version="1.0″ encoding="UTF-8″?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-products.xml</loc>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-categories.xml</loc>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-blog.xml</loc>
</sitemap>
</sitemapindex>

Такой вариант удобнее обслуживать: изменения в каталоге не затрагивают файл со статьями, а структура большого проекта остается понятной.

Не нужно воспринимать Sitemap как выгрузку всех существующих URL.
В него стоит включать страницы, которые:

• имеют самостоятельную ценность;
• доступны пользователям;
• должны появляться в поиске;
• имеют корректный канонический адрес;
• не являются техническими дублями.

Для интернет-магазина это могут быть категории и карточки товаров. Для медиа — статьи и страницы разделов. Для корпоративного сайта — услуги, направления работы, полезные материалы.
А вот URL с параметрами сортировки, служебные страницы, дубли и несуществующие документы обычно там не нужны.
Есть простой ориентир: если страницу не планируется показывать в поиске, ее присутствие в Sitemap стоит поставить под вопрос.

У формата есть технические лимиты. Один файл может содержать до 50 000 URL и иметь размер до 50 МБ без учета сжатия.
Если ресурс выходит за эти пределы, создается несколько файлов и индекс, который объединяет их.
Это особенно актуально для крупных интернет-магазинов, маркетплейсов и информационных порталов.
Сжатие gzip позволяет уменьшить размер передаваемого файла, но ограничение по количеству URL все равно необходимо учитывать.

Создали файл — теперь его нужно протестировать. Причем смотреть только на то, открывается ли он в браузере, недостаточно.
Проверяем доступность
Сначала убедитесь, что сервер отдает файл без ошибки.
Нормальный ответ — HTTP 200.
Коды 404, 403 и 500 говорят о проблеме: поисковый робот либо не найдет документ, либо не сможет получить его содержимое.
Также стоит обратить внимание на скорость ответа сервера. Если файл формируется очень долго, его обработка может проходить некорректно.
Проверяем содержимое
Откройте несколько URL из разных частей списка.
Для каждого адреса стоит проверить:

• страница действительно существует;
• URL ведет на нужный документ;
• нет лишнего редиректа;
• адрес соответствует канонической версии;
• страница не является техническим дублем.

Необязательно вручную открывать несколько тысяч страниц. Для большого ресурса лучше использовать краулер или специализированный SEO-сервис.
Проверяем XML
Файл должен соответствовать синтаксису XML. Ошибка в одном из элементов может привести к проблемам с обработкой документа.
Особое внимание стоит уделить:

• закрытию тегов;
• кодировке;
• корректности URL;
• специальным символам;
• структуре корневого элемента.

Если Sitemap создается автоматически, вероятность синтаксической ошибки ниже, но проверка все равно не помешает после изменения настроек сайта.

В Яндекс Вебмастере есть инструмент для анализа файлов Sitemap. В него можно передать адрес карты и посмотреть, какие проблемы обнаружил сервис.
После исправления ошибок файл можно добавить в соответствующий раздел Вебмастера.
Еще один вариант — прописать его расположение в robots.txt. Например:
Sitemap: example.com/sitemap.xml
Это удобно, поскольку поисковый робот получает информацию о расположении карты непосредственно при обращении к robots.txt.

Сценарий зависит от характера проблемы.
В файле находятся страницы 404.
Удалите несуществующие адреса и настройте генератор так, чтобы они не возвращались после следующего обновления.
Указаны URL с редиректами.
Замените их конечными адресами страниц.
Встречаются дубли.
Оставьте предпочтительную версию документа.
В карту попали технические страницы.
Проверьте правила генерации и исключите ненужные типы URL.
Файл перестал открываться.
Проверьте сервер, путь к документу и настройки доступа.
Sitemap не обновляется.
Посмотрите, как CMS или установленный модуль формирует файл. Возможно, автоматическая генерация отключилась.
Сайт вырос настолько, что один файл стал слишком большим.
Разделите адреса на несколько Sitemap и создайте индекс.

Эти инструменты часто упоминают вместе, но предназначены они для разных задач.
robots.txt содержит правила для поисковых роботов. В нем можно разрешать или запрещать обход определенных частей сайта, а также сообщить, где находится Sitemap.
XML-файл, напротив, представляет список URL, которые владелец считает важными для обнаружения поисковиком.
Поэтому наличие строки:
Sitemap: example.com/sitemap.xml

в robots. txt не означает, что остальные правила файла автоматически отменяются.
И наоборот: создание Sitemap не заменяет настройку robots.txt.

На практике проблемы обычно возникают не из-за самого формата XML, а из-за того, что в него попадают неправильные адреса.
В карту добавляют все URL подряд
Большое количество адресов само по себе не является преимуществом. Если половина списка состоит из фильтров, дублей и технических страниц, качество такого файла снижается.
Sitemap создают один раз и забывают
Страница удалена, появились новые товары, изменились адреса разделов — а XML остался прежним.
На динамическом проекте генерация должна быть автоматизирована либо файл необходимо регулярно обновлять вручную.
Включают страницы, которые не должны индексироваться
Содержимое Sitemap должно соответствовать общей SEO-логике сайта. Не стоит добавлять туда URL только потому, что они существуют технически.
Проверяют только сам файл
XML может открываться без ошибок, но при этом содержать сотни неработающих URL. Поэтому проверять нужно не только структуру документа, но и его содержимое.
Ожидают роста позиций сразу после добавления Sitemap
Карта не является отдельным инструментом продвижения, который автоматически поднимает страницы в выдаче. Ее основная функция — помочь поисковым системам обнаруживать нужные документы.

Хорошо настроенная карта не требует постоянного ручного вмешательства.
После проверки должно выполняться несколько условий:

• файл доступен по стабильному URL;
• сервер корректно его отдает;
• XML не содержит синтаксических ошибок;
• перечислены актуальные страницы;
• отсутствуют очевидные дубли и битые адреса;
• размер и количество URL находятся в допустимых пределах;
• расположение файла известно поисковым системам;
• при изменении сайта карта обновляется.

Для небольшого ресурса такую проверку можно провести за несколько минут. На крупном проекте лучше включить контроль Sitemap в регулярный технический SEO-аудит.