Наличие доступного файла sitemap.xml не гарантирует, что он правильно выполняет свою функцию. Этот файл, призванный помочь Google обнаруживать и расставлять приоритеты среди страниц сайта, может содержать несоответствия, месяцами остающиеся незамеченными, при этом незаметно снижая его реальную полезность. В отличие от очевидной ошибки сервера, такие проблемы обычно не вызывают явных предупреждений, что объясняет, почему их часто не исправляют.
Несоответствие домена — незаметная, но частая ошибка
Sitemap, объявляющий URL в http, тогда как сайт реально отвечает по https, или использующий форму домена, отличную от той, что реально показывается посетителям, например с префиксом www или без него, создаёт путаницу для Google. В результате поисковая система может индексировать страницы в форме URL, не являющейся той, что сайт считает канонической, что рассеивает сигнал ранжирования между несколькими вариантами одной страницы вместо его концентрации на одном адресе. Такое несоответствие часто возникает после перехода на https или изменения конфигурации сервера, когда генератор sitemap не был перенастроен под это изменение.
Sitemap, включающий страницы, которых там быть не должно
Sitemap должен содержать только страницы, предназначенные для индексации, в их канонической версии. Включение туда страниц с noindex, перенаправленных страниц, страниц с ошибками или URL с параметрами отслеживания и фильтрации посылает Google противоречивый сигнал: с одной стороны, через sitemap поступает указание проиндексировать страницу, а с другой — прямо противоположное указание через тег noindex или код редиректа на самой странице. Это противоречие не обязательно препятствует индексации, но ослабляет доверие к sitemap в целом.
Неверные или отсутствующие даты последнего изменения
Тег lastmod сообщает Google, когда страница была изменена в последний раз, — полезная информация для приоритизации повторного сканирования страниц, которые реально изменились, вместо траты бюджета сканирования на давно неизменные страницы. Плохо настроенный генератор sitemap может присваивать одну и ту же дату всем страницам сайта или дату, систематически обновляемую при каждой генерации файла, даже без реального изменения контента. Google публично заявлял о недоверии к датам, признанным ненадёжными, и может просто игнорировать эту информацию, если она выглядит противоречивой, что сводит на нет пользу этого тега, при этом sitemap не показывает никакой видимой технической ошибки.
Часто забываемые ограничения по размеру
Один sitemap не может содержать более пятидесяти тысяч URL и не должен превышать пятьдесят мегабайт в несжатом виде. Сайт, приближающийся к этим пределам или превышающий их, должен разделить свои URL на несколько файлов, объединённых через sitemap index, ссылающийся на каждый из них. Многоязычный сайт с несколькими сотнями статей, переведёнными на пять языков, может достичь такого объёма быстрее, чем кажется, что делает эту проверку уместной даже для сайта, на первый взгляд кажущегося скромного размера.
Sitemap, переставший отражать реальное содержимое сайта
Sitemap, сгенерированный один раз и никогда автоматически не обновляемый, со временем расходится с реальным содержимым сайта: удалённые страницы остаются в списке, а новые страницы туда никогда не попадают. В WordPress распространённые SEO-плагины автоматически регенерируют этот файл при каждой публикации, но индивидуальная разработка на PHP без аналогичного механизма может накапливать этот разрыв месяцами, пока ручная проверка не выявит разницу между двумя списками.
Как реально проверить свой sitemap
Отчёт Sitemaps в Google Search Console показывает количество отправленных URL и количество реально обнаруженных, и значительный разрыв между этими двумя цифрами — сигнал, заслуживающий пристального внимания. Проверка формата XML специальным инструментом позволяет обнаружить синтаксическую ошибку, мешающую корректному чтению файла. Наконец, ручная проверка, сравнивающая несколько URL из sitemap с их реальным статусом — а именно, отвечают ли они кодом 200 без редиректа или ошибки, — остаётся самым простым способом подтвердить, что файл действительно соответствует реальности сайта.
Что стоит проверить перед публикацией: подтвердить, что ограничения в пятьдесят тысяч URL и пятьдесят мегабайт на файл sitemap остаются официальными действующими значениями на момент публикации, и проверить, что описание поведения Google в отношении дат lastmod, признанных ненадёжными, по-прежнему соответствует официальной документации Google Search Central.