Пользователь Твиттера под ником Идан Бен Ор
поинтересовался у официального представителя Google:
«Способен ли мета-тег Noindex «сберечь» бюджет сканирования поисковым роботом Гугл?». Надо полагать, сей товарищ пытался узнать, сможет ли использование данного тега запретить сканирование одних «ненужных» страниц (там, где тег используется) и, тем самым, увеличить время пребывания Гуглбота на сайте для сканирования «нужных» страниц.
Ответ Джона был таков – "
не способен"
Использование
мега-тега Noindex предотвращает индексацию контента поисковыми роботами, однако это не касается сканирования. Чтобы найти и выполнить сам тег в коде страницы, ее сперва нужно просканировать!