Как использовать Sitemap Validator для устранения ошибок

Отправка XML-карты сайта может предоставить поисковым системам полную разбивку каждой страницы веб-сайта, которую вы хотите проиндексировать. Таким образом, это важный шаг в вашей стратегии поисковой оптимизации (SEO). Однако для достижения наилучших возможных результатов вам необходимо использовать валидатор карты сайта, чтобы убедиться, что вы не отправляете файлы с ошибками.

В этой статье мы поговорим о том, что такое валидаторы карты сайта и как они работают. Затем мы расскажем вам о распространенных ошибках, с которыми вы можете столкнуться при использовании валидатора карты сайта, и о том, как их устранить. Давайте приступим!

Что такое валидатор карты сайта?

Карта сайта — это файл, содержащий список всех URL-адресов на вашем веб-сайте, которые вы хотите, чтобы поисковые системы индексировали. Карты сайта бывают в формате XML или HTML, причем первый вариант является наиболее популярным.

Технически вам не нужно отправлять карту сайта вашего сайта в Google или другие поисковые системы. Эти платформы используют поисковые роботы для навигации по вашему сайту, определения каждого URL-адреса и индексации этих страниц. Однако создание карты сайта дает вам полный контроль над тем, какие URL-адреса индексируются поисковыми системами, а какие нет (например, частный или избыточный контент).

В большинстве случаев вы будете использовать автоматически сгенерированные карты сайта. Если вы используете WordPress, SEO-плагины, такие как Yoast, могут помочь вам создать карты сайта, которые вы можете отправить в Google Search Console:

Валидатор карты сайта — это инструмент, который может обрабатывать эти XML- или HTML-файлы и проверять, не содержат ли они ошибок. Под «ошибками» мы подразумеваем:

• Страницы, которые поисковые системы не могут сканировать
• 404 ошибки
• 401 ошибка
• Слишком много URL в карте сайта
• Неканонические URL

Если ваша карта сайта содержит какие-либо из этих ошибок, поисковые системы не смогут проиндексировать каждую указанную вами страницу. Чтение XML-файлов вручную для поиска проблем может занять много времени, и вам также необходимо протестировать URL-адреса. К счастью, валидаторы карты сайта позволяют вам пропустить всю эту работу и начать исправлять любые ошибки, которые они обнаруживают.

Как использовать валидатор карты сайта

Использовать валидатор карты сайта очень просто. В зависимости от того, какой инструмент вы используете, вам может потребоваться загрузить XML-файл или указать URL-адрес карты сайта вашего веб-сайта. Последний вариант может применяться, если вы используете такой инструмент, как XML Sitemap Validator.

Введите URL-адрес карты сайта, которую вы хотите проверить, и инструмент вернет отчет со всеми найденными ошибками.

Если вы получите чистый отчет без проблем, поисковые системы смогут проиндексировать URL-адреса в карте сайта. Вы можете без опасений отправлять карту сайта в Google, Bing, Yandex или куда угодно. Однако, если вы столкнетесь с ошибками, вам нужно знать, как их исправить. Это подводит нас к следующему разделу.

5 распространенных ошибок карты сайта и как их исправить

К сожалению, некоторые карты сайта проверяются не идеально, но мы рассмотрим некоторые из наиболее распространенных ошибок, которые валидаторы карт сайта могут найти в файлах, которые вы им отправляете. Начнем с обсуждения страниц с «проблемами» при сканировании.

1. Страницы с проблемами сканирования

Проблемы со сканированием являются одними из наиболее распространенных проблем, которые возвращают валидаторы. Эта ошибка означает, что службе не удалось просканировать одну из страниц вашей карты сайта.

Как правило, когда валидатор или поисковая система не может просканировать страницу, это означает один из следующих сценариев:

• Страница загружается слишком долго. Если ваш веб-сайт загружается слишком долго, соединение со сканером прервется. Это означает, что некоторые страницы могут не индексироваться.
• Ваш сайт использует слишком много редиректов. Когда перенаправления настроены неправильно, ваш сайт может оказаться в цикле перенаправления. Это означает, что поисковые системы не смогут его просканировать.
• Сайт блокирует поисковые системы от его сканирования. Вы можете настроить WordPress на блокировку поисковых роботов (используя теги noindex ), чтобы ваш сайт не индексировался. Как правило, вы можете сделать это при создании своего сайта или создании личных страниц.
• Страница возвращает код ошибки, отличный от 404 или 401. Валидаторы карты сайта могут анализировать ошибки 404. Однако другие коды ошибок HTTP приведут к предупреждению о «проблеме сканирования».

Ошибка «проблемы сканирования» может быть неоднозначной. Однако вы можете определить точную проблему, посетив соответствующий URL-адрес. Если страница загружается быстро и правильно, возможно, ваш сайт блокирует ее сканирование поисковыми системами.

Если страница загружается без ошибок, мы рекомендуем проверить время загрузки вашего веб-сайта, чтобы увидеть, есть ли проблемы с производительностью. В противном случае вы должны увидеть определенные коды ошибок или экземпляры нескольких перенаправлений.

2. 404 ошибки

Ошибки 404 в карте сайта решить легко. Если страницы больше не существует, вы можете вручную удалить эту запись из карты сайта или настроить для нее перенаправление. Лучший вариант для вас будет зависеть от того, получает ли эта страница трафик.

Аналитика веб-сайта из Google Search Console и других сервисов покажет, посещают ли страницу 404 все еще посетителей. В этом случае лучше всего настроить перенаправление на ближайшую релевантную страницу или публикацию, чтобы не упустить этот трафик. Пока вы используете одно перенаправление, это не приведет к ошибке проверки карты сайта.

3. 401 ошибка

«Неавторизованная» ошибка 401 в карте сайта означает, что поисковые роботы не могут получить доступ к определенной странице, поскольку у них нет необходимых разрешений. Эта ошибка обычно появляется, когда вы имеете дело со страницей, которая требует от пользователей входа в систему.

Единственное решение этой ошибки — удаление из карты сайта страниц, требующих авторизации. Любая страница, которую могут видеть только зарегистрированные пользователи, не должна индексироваться. В противном случае посетители, которые нажмут на нее на страницах результатов поисковых систем (SERP), столкнутся с ошибкой 401.

4. Слишком много URL-адресов в карте сайта

Поисковые системы могут сканировать огромные веб-сайты с тысячами страниц. Однако, по нашему опыту, карты сайта начинают отображать ошибки, если вы перечисляете где-то около (или более) 50 000 страниц.

Если это ваша ситуация, то похвала за усилия. 50000 страниц это много . Однако большинство веб-сайтов с более чем 50 000 страниц, вероятно, имеют несколько URL-адресов из пользовательского контента. В этом случае вы хотите отдать приоритет наиболее важным страницам вашего сайта, удаляя записи карты сайта, которые пользователи могут не захотеть видеть в поисковой выдаче.

5. Неканонические URL-адреса в карте сайта

Иногда поисковые системы могут запутаться, увидев несколько версий URL одной и той же страницы. Например, вы можете получить доступ к простой странице блога, используя любой из следующих URL-адресов:

• http://yourwebsite.com
• http://www.yourwebsite.com
• https://yourwebsite.com
• https://www.yourwebsite.com

На практике все эти URL-адреса могут вести на одну и ту же страницу (если вы перенаправляете HTTP-трафик на HTTPS). Однако поисковые системы могут рассматривать эти URL-адреса как четыре разных записи в карте сайта, что приводит к ошибкам проверки.

Простой способ решить эту проблему — назначить канонический URL-адрес для вашего веб-сайта WordPress. Плагины SEO, такие как Yoast, автоматически назначат канонические URL-адреса для вашего сайта. Если вы используете XML-файл, сгенерированный SEO-плагином, вы не должны столкнуться с «неканонической» ошибкой при использовании валидатора карты сайта.

Вывод

По мере роста вашего веб-сайта использование карты сайта становится все более важным. Карты сайта позволяют указать поисковым системам, какие страницы им следует индексировать, а какие игнорировать. Кроме того, использование валидатора карты сайта поможет вам обнаружить ошибки, чтобы сканеры не сталкивались с проблемами при индексировании вашего веб-сайта.

Напомним, пять наиболее распространенных ошибок, с которыми вы можете столкнуться при использовании валидатора карты сайта:

1. Страницы с проблемами сканирования: вам нужно проверить время загрузки, перенаправления и посетить страницу своего веб-сайта, чтобы определить точную проблему.
2. 404 ошибки: эта ошибка означает, что вы должны удалить несуществующую страницу из карты сайта или настроить для нее перенаправление.
3. Ошибки 401: рассмотрите возможность удаления страниц с ограниченным доступом из карты сайта.
4. Слишком много URL-адресов в карте сайта: возможно, вам придется избирательно выбирать страницы в карте сайта и удалять менее полезные.
5. Неканонические URL-адреса в карте сайта: мы рекомендуем настроить канонический URL-адрес для определенных страниц.

У вас есть вопросы по использованию валидатора карты сайта? Давайте поговорим о них в разделе комментариев ниже!

Избранное изображение через hanss/shutterstock.com