Google: сайты теряют загрузку страниц из-за неправильного использования кода 403

Многие крупные сайты теряют массу своих страниц при индексировании в Google из-за злоупотребления 403 кодом вместо 503. Об этом сообщил аналитик и инженер отдела качества поиска Google Гэри Илш (Gary Illyes).

Код 403 будет довольно быстро удалять контент из индексирования Google. 403 означает запрещенный код: сервер понял запрос, но отказывается выполнять его. Авторизация не поможет, и запрос не должен быть повторен. Если метод запроса не был главным и сервер желает указать, почему запрос не был выполнен, ему следует описать причину отказа. Если сервер не желает сделать эту информацию доступной для клиента, вместо него может быть использован код состояния 404 Not Found.

В то же время код 503 носит более временный характер и, как правило, не приводит к немедленному удалению из индексирования Google. 503 код означает, что сервис недоступен: сервер временно не в состоянии обработать запрос из-за временной перегрузки или обслуживания сервера. Подразумевается, что это временное состояние, которое изменится после некоторой задержки. Продолжительность задержки может быть указана в заголовке Retry-After. Если Retry-After не указан, клиент должен обрабатывать этот ответ как для 500 кода.

В апреле 2014 руководитель команды Google по борьбе с веб-спамом Мэтт Каттс (Matt Cutts) разъяснил вебмастерам, в чём для поисковой системы заключается разница между кодом состояния HTTP 404 Not Found («Не найдено») и 410 Gone («Удалён»).