Параметры, доступные в инструментах Google для веб-мастеров, позволяют удалить из индекса одну подстраницу или весь каталог . Поскольку на сайте одного из клиентов требовалось индексировать большое количество подстраниц, которые не находятся в отдельном каталоге, а только в одном каталоге с теми, которые должны остаться в индексе, я решил проверить работу этого инструмента в своем блоге.
Мне было интересно, что произойдет, если я отправлю весь каталог для удаления (www.lexy.com.pl/blog/), в котором только некоторые подстраницы имеют заголовок 404. Согласно информации, отображаемой на панели веб-мастера, операция полного удаления каталога может происходит только в том случае, если этот каталог заблокирован в файле robots.txt.
Постоянное удаление, вероятно, означает, что без этой записи в файле robots.txt возможно только временное удаление, но если робот снова перейдет на эти подстраницы, он сможет снова проиндексировать его.
В конце концов, эффект отчетности удивил меня 😉 До сих пор, чтобы проиндексировать одну подстраницу с помощью инструментов для веб-мастеров, требовался блок в файле robots.txt, заголовок 410 или 404, и здесь …
… видно, что для временного, немедленного удаления каталога из индекса достаточно отправить такой запрос и подождать несколько часов. Таким образом, если кто-то кроме владельца страницы имеет доступ к панели GWT, он может многое перепутать, даже не имея доступа к самому сайту, чтобы вставить блокировки или заголовки, упомянутые выше.
Конечно, на панели инструментов для веб-мастеров сразу же появилась информация об исчезновении страницы из индекса.
Посмотрим, как скоро блог вернется к индексу после повторного нажатия кнопки «Включить». Это заявление отправляется в данный момент, т.е. в 11:14 😉 Как только что-то изменится в этой теме, я напишу об этом.
// издание:
Возврат блога к индексу занял около 2 часов — я проверил сайт в 13:25.
