Время от времени я встречаю полезные советы от сотрудников Google. Я решил собрать их в одну запись, ориентируясь прежде всего на высказывания Джона Мюллера. Большая часть информации была найдена в блоге www.seroundtable.com и его профиле в Twitter и касается технических вопросов. В список также будет включена информация от Мэтта Каттса, в основном с YouTube .
в случае блокировки доступа к общедоступному каталогу файл robots.txt должен быть обновлен как минимум за 24 часа до добавления какого-либо контента, поскольку он обычно обновляется один раз в день;
подстраницы, заблокированные в файле robots.txt, могут быть проиндексированы, если они связаны;
использование так называемого soft-404 , то есть страницы, сообщающие об отсутствии страницы, но возвращающие неправильный код состояния (200);
теоретически, вряд ли конкуренция может повредить ссылкам другого сайта;
после того, как 404 и 410 обрабатывались практически одинаково, но в течение некоторого времени рекомендуется использовать 410, чтобы сообщить вам, что подстраница была окончательно удалена и больше никогда не будет доступна. Такие подстраницы должны индексироваться намного быстрее, чем страницы 404, что может быть вызвано, например, временной ошибкой и на которую Google не должен реагировать немедленно;
использование перенаправлений метаобновления не рекомендуется;
использование noscript также не рекомендуется из-за более раннего использования этого тега;
в случае, если на сайте есть тексты, написанные на разных языках , рекомендуется не смешивать их на одной подстранице, хотя в большинстве случаев язык не должен назначаться данной подстранице;
Записи в метатеге роботов суммируются, но не перезаписываются. Это означает, что если первая запись содержит «noindex», а вторая «index, follow», робот получит ее как «noindex, follow»;
сканирование файлов PDF занимает больше времени, чем HTML;
Google устанавливает частоту загрузки карты сайта в зависимости от того, как часто она обновляется. Например, если блог до сих пор получал одну запись в месяц, и в какой-то момент записи будут публиковаться каждые несколько дней, карта сайта также будет посещаться чаще;
canonical не следует использовать для подстраниц пагинации из-за того, что эта запись может препятствовать доступу роботов к подстраницам, связанным с ними;
для определения геолокации сайта гораздо важнее иметь национальный домен (например, .pl), чем местоположение сервера;
в случае проблемы с дублированным содержимым на странице в результате создания документа PDF для каждого файла их индексация должна быть заблокирована. В конце концов, даже если вы этого не сделаете, Google должен либо показать html-версию выше в результатах, чем pdf-версию, либо вообще не показывать последнюю;
заголовок 503 означает, что Google не индексирует версию страницы с информацией о ее недоступности, но позже возвращает ее для повторной индексации;
nofollow вообще не должен использоваться во внутренних ссылках;
подозрительная история доменов из т.н. «Секонд хенд» может негативно повлиять на будущее сайта;
настройка перенаправления 301 в инструментах для веб-мастеров — это самый быстрый способ сообщить Google об изменениях домена;
систематическое обновление содержимого страницы не является обязательным требованием, поскольку не каждая страница оправдывает постоянное добавление нового содержимого;
Вы не должны публиковать огромное количество подстраниц на новом веб-сайте сразу , так как это может привести к тщательному анализу — однако это относится к действительно большим количествам;
сайт также может быть проверен в ситуации, когда внезапно многие другие домены начинают перенаправлять на него;
Google также с подозрением относится к сайтам, блокирующим доступ к файлам CSS и JS .