В справке Search Console появилось руководство по управлению сканированием
0
В нем рассказывается о том, как оптимизировать роботов Google для сканирования очень крупных и часто обновляемых ресурсов.