Каждый день мы используем постоянный набор инструментов SEO. В сегодняшнем посте я хочу представить несколько доступных в Интернете — не харвестеров, а небольшие инструменты, ориентированные на одну конкретную функциональность. Я также призываю вас поделиться информацией о других диванах, которые вы рекомендуете.
Инструмент, доступный на www.urlitor.com, позволяет выполнять массовые запросы о HTTP-заголовках списка адресов, которые мы будем вводить в него, и, если будут обнаружены перенаправления, он возвращает нам их полный путь. Я часто использую их, чтобы спросить о страницах, проиндексированных в Google, чтобы я мог быстро проверить, где внести исправления.
Чтобы использовать его, перейдите на www.urlitor.com и вставьте до 150 адресов, чтобы проверить в окне поиска. Это может быть список, взятый из Google, список подстраниц, экспортированных из Google Analytics, из инструмента анализа обратных ссылок (например, Majestic) или непосредственно с карты сайта. Ниже приведен пример для домена seostation.pl, который недавно изменил структуру URL-адресов в блоге.
Как вы можете видеть, где инструмент обнаружил перенаправление, вы можете развернуть полный путь, нажав на плюс в столбце «# перенаправлений». Однако больше всего нас интересуют подстраницы с заголовками, отличными от 200 или 301, т. Е. В основном 404, которые должны быть соответствующим образом перенаправлены.
Полный отчет может быть экспортирован, среди прочего в CSV-файл и там удобно работать над ним.
2. Проверка заголовка HTTP / HTTPS
Инструмент www.webconfs.com/http-header-check.php аналогичен описанному выше, но предоставляет более подробные данные и позволяет запрашивать только один URL-адрес.
Вот результат проверки:
3. Расширение скребка для Google Chrome
Я упоминал ранее, спрашивая первый из этих инструментов об индексированных подстраницах. Их можно легко и быстро извлечь с помощью расширения Google Chrome под названием Scraper . Все, что вам нужно сделать, это настроить Google для отображения 100 результатов на странице, а затем введите интересующую вас команду. Я добавлю, что Google ограничивает объем данных, отображаемых для команды сайта, в течение некоторого времени, поэтому иногда лучше запросить более подробные команды, например site: lexy.com.pl inurl: .html, чем просто site: lexy.com.pl который может вернуть меньше результатов. Чтобы убедиться в этом, проще всего выбрать довольно необычные URL-адреса подстраниц для проверки, например, из старой структуры URL-адресов. Сначала мы проверяем все подстраницы с самим сайтом, а затем определяем команду, добавляя к ней фрагмент адреса — во втором случае мы должны получить больше результатов.
Итак, как вы экспортируете список проиндексированных подстраниц из Google? Введите команду и, включив расширение Scraper, щелкните, например, на заголовке связанной страницы (нажав на адрес, некоторые из них — более длинные — могут быть обрезаны, и в результате их анализ не даст нам много), правой кнопкой мыши и выберите « Очистить похожие ». Это позволит вам перечислить один и тот же элемент (в данном случае заголовок) из всех отображаемых результатов.
Мы получаем результат в следующей форме, которую также можно экспортировать и сохранить в отдельном файле.
Чтобы добавить сгенерированный список подстраниц в HTTP Status & Redirect Checker, просто вставьте адреса из второго столбца отчета.
4 и 5. Инструменты для отправки страниц в Google
Есть 2 инструмента для отправки страниц в индекс Google. Первый из них доступен внешним пользователям, которым не нужно связываться с сайтом, о котором сообщается. Он находится по адресу www.google.com/webmasters/tools/submit-url — да, именно этот инструмент существовал годами и считался неэффективным много лет назад, а теперь, похоже, работает на такие правила, как второе, о котором я напишу через минуту.
Стоит проверить скорость этого метода, потому что мои наблюдения показывают, что индексация возможна буквально через несколько секунд. Конечно, такой отчет не дает нам постоянной индексации, поскольку сайт может много раз выпадать и возвращаться в Google. Давайте также помним, что проиндексированная страница будет вести себя по-другому, переходя по ней по ссылке, которая также будет передавать ее силу, и в противном случае, если мы отправим робота Google таким образом.
Проверенным владельцам доступен другой способ, поэтому в этом случае потребуется доступ к панели «Консоль поиска» выбранного сайта. Нас заинтересует вкладка « Индексирование -> Загрузить как Google », в которой нужно ввести адрес сообщаемой страницы, дождаться проверки ее статуса и нажать кнопку « Запросить индекс ».
Будут отображены два варианта:
- Индексируйте только этот URL — месячный лимит количества страниц, отправляемых таким образом в индекс, составляет 500;
- Индексируйте этот URL и его прямые ссылки — здесь месячный лимит составляет всего 10.
Стоит указать адрес в инструменте «Скачать как Google», запустить журналы сервера и точно узнать, когда робот Google посетит наш сайт. Добавлю, что время первого посещения не всегда совпадает со временем индексации данной страницы. Наше внимание привлечет файл, в котором робот Google сначала смотрит — это будет файл robots.txt, «сообщающий» роботам, какие разделы страницы они могут и не могут видеть.
6 и 7. Инструмент для удаления результатов из Google
Здесь у нас также есть 2 варианта на выбор. Первый из этих инструментов доступен людям, которые не связаны с отчетной страницей, и расположен по адресу https://www.google.com/webmasters/tools/removals. Он будет эффективен не для всех приложений, а только для тех, для кого:
- содержимое страницы изменилось, и мы в основном сообщаем не о запросе на его удаление, а об обновлении — вы можете использовать его, например, если мы удалили наш контент с чужого сайта или попросили его владельца изменить или удалить наши данные. В этом случае уведомление приведет к изменению копии и исчезновению старых данных, и, таким образом, результат перестанет отображаться в Google для старого контента;
- страница была удалена ее владельцем, но ее копия все еще находится в Google — тогда отправка приведет к удалению результата из Google.
Обратите внимание, что Google записывает все наши материалы на странице www.google.com/webmasters/tools/removals . Аналогично, он может где-то сохранять (но не отображать) адреса страниц, о которых мы сообщали Google, используя инструмент добавления их в Google людьми, не связанными со страницей. Поэтому их следует использовать с осторожностью, если мы не хотим, чтобы Google связывал многие из наших страниц (например, резервные страницы) с нашими аккаунтами.
Последний из этих инструментов доступен на уровне консоли поиска и, следовательно, может использоваться людьми, имеющими доступ к панели. Вы можете перейти прямо на www.google.com/webmasters/tools/url-removal и выбрать сервис на своем уровне.
Теоретически, без использования 404 или noindex, результаты будут временно удалены и могут вернуться в индекс в любое время. Однако на практике я этого не заметил. Стоит обратить внимание на варианты, доступные на следующем шаге, среди которых есть, среди прочего возможность скрыть весь каталог в индексе, а не только конкретную подстраницу.
Какие инструменты вы используете?
