Время от времени я встречаю полезные советы от сотрудников Google. Я решил собрать их в одну запись, ориентируясь прежде всего на высказывания Джона Мюллера. Большая часть информации была найдена в блоге www.seroundtable.com и его профиле в Twitter и касается технических вопросов. В список также будет включена информация от Мэтта Каттса, в основном с YouTube .

  • в случае блокировки доступа к общедоступному каталогу файл robots.txt должен быть обновлен как минимум за 24 часа до добавления какого-либо контента, поскольку он обычно обновляется один раз в день;
  • подстраницы, заблокированные в файле robots.txt, могут быть проиндексированы, если они связаны;
  • использование так называемого soft-404 , то есть страницы, сообщающие об отсутствии страницы, но возвращающие неправильный код состояния (200);
  • теоретически, вряд ли конкуренция может повредить ссылкам другого сайта;
  • после того, как 404 и 410 обрабатывались практически одинаково, но в течение некоторого времени рекомендуется использовать 410, чтобы сообщить вам, что подстраница была окончательно удалена и больше никогда не будет доступна. Такие подстраницы должны индексироваться намного быстрее, чем страницы 404, что может быть вызвано, например, временной ошибкой и на которую Google не должен реагировать немедленно;
  • использование перенаправлений метаобновления не рекомендуется;
  • использование noscript также не рекомендуется из-за более раннего использования этого тега;
  • в случае, если на сайте есть тексты, написанные на разных языках , рекомендуется не смешивать их на одной подстранице, хотя в большинстве случаев язык не должен назначаться данной подстранице;
  • Записи в метатеге роботов суммируются, но не перезаписываются. Это означает, что если первая запись содержит «noindex», а вторая «index, follow», робот получит ее как «noindex, follow»;
  • сканирование файлов PDF занимает больше времени, чем HTML;
  • Google устанавливает частоту загрузки карты сайта в зависимости от того, как часто она обновляется. Например, если блог до сих пор получал одну запись в месяц, и в какой-то момент записи будут публиковаться каждые несколько дней, карта сайта также будет посещаться чаще;
  • canonical не следует использовать для подстраниц пагинации из-за того, что эта запись может препятствовать доступу роботов к подстраницам, связанным с ними;
  • для определения геолокации сайта гораздо важнее иметь национальный домен (например, .pl), чем местоположение сервера;
  • в случае проблемы с дублированным содержимым на странице в результате создания документа PDF для каждого файла их индексация должна быть заблокирована. В конце концов, даже если вы этого не сделаете, Google должен либо показать html-версию выше в результатах, чем pdf-версию, либо вообще не показывать последнюю;
  • заголовок 503 означает, что Google не индексирует версию страницы с информацией о ее недоступности, но позже возвращает ее для повторной индексации;
  • nofollow вообще не должен использоваться во внутренних ссылках;
  • подозрительная история доменов из т.н. «Секонд хенд» может негативно повлиять на будущее сайта;
  • настройка перенаправления 301 в инструментах для веб-мастеров — это самый быстрый способ сообщить Google об изменениях домена;
  • систематическое обновление содержимого страницы не является обязательным требованием, поскольку не каждая страница оправдывает постоянное добавление нового содержимого;
  • Вы не должны публиковать огромное количество подстраниц на новом веб-сайте сразу , так как это может привести к тщательному анализу — однако это относится к действительно большим количествам;
  • сайт также может быть проверен в ситуации, когда внезапно многие другие домены начинают перенаправлять на него;
  • Google также с подозрением относится к сайтам, блокирующим доступ к файлам CSS и JS .