SEO

5 мин чтения

Screaming frog SEO spider: что это и как пользоваться

Автор: Максим Романец, Founder & CEO Point.UP

Краткий ответ

С помощью Screaming Frog SEO Spide можно обнаружить ошибки в ссылках, найти дубли страниц и другие недочеты, которые не позволяют сайту нормально продвигаться. Программа применяют SEO-специалисты разного уровня, веб-аналитики и владельцы сайтов. Расскажем подробнее в этой статье.

Коротко — главное

  • Программа была разработана компанией из Великобритании в 2010 году.
  • Screaming Frog SEO Spider доступен бесплатно, но есть и платная версия.
  • После открытия программы нужно нажать Configuration, а затем — Spider.
  • На страничке Internal нужно найти фильтр HTLM, а точнее столбик Content.
  • Это один из ключевых инструментов SEO-парсинга.

Особенности Screaming Frog SEO Spider

Принцип работы

Программа была разработана компанией из Великобритании в 2010 году. Она совместима с ОС Windows, macOS и Linux.

Поддержки русского языка нет, есть английский и четыре других языка. Принцип работы сканера такой:

В программе предусмотрено более 25 инструментов для проверки сайта.

«Паук» собирает данные о сайте и ссылках на нем;

Подготавливает отчет в удобном для скачивания формате.

Стоимость и установка

Screaming Frog SEO Spider доступен бесплатно, но есть и платная версия. В бесплатном модуле можно проверять до полутысячи адресов и использовать 7 основных инструментов парсинга: определение дублей, нерабочих ссылок, проверку ключевых запросов и т. д.

В платной версии есть все функции. Возможна синхронизация с Google Analytics, поиск орфографических и грамматических ошибок.

Сканировать можно любое количество адресов. В обоих вариантах для использования программу сначала необходимо скачать.

Для этого нужно загрузить дистрибутив, открыть его и следовать инструкциям «Мастера установки». Указывать личную информацию не требуется.

После установки нужно кликнуть по ярлыку программы на рабочем столе. Далее можно сразу начинать парсить: ввести адрес сайта и нажать Start.

Но рекомендуется вначале настроить «Паука».

Настройка Screaming Frog SEO Spider

После открытия программы нужно нажать Configuration, а затем — Spider. В новом окне будет несколько вкладок:

Если требуется выполнить анализ отдельных разделов или только один, нужно перейти в Configuration > Include и ввести разделы, которые нужно включить в парсинг. Если нужно, наоборот, исключить какие-то разделы.

Это можно сделать через Configuration > Exclude.

Для новых сайтов без админки анализ можно выполнять по логину и…

Для новых сайтов без админки анализ можно выполнять по логину и паролю, а вместо администраторского доступа можно настроить гостевой.

Basic

Basic. Для повышения скорости парсинга можно убрать CSS-стили, JavaScript, SWF.

Тогда при работе программа не будет их учитывать и будет меньше нагружаться. Если сайт закрыт в robots.txt (файл правил для поисковых роботов), в окне Basic нужно активировать функцию игнорирования этого файла;

Limits

Limits. В настройке Limit Search Depth необходимо указать, до какого уровня вложенности страниц нужно проверять сайт.

Это актуально при проверке каталога или другого ресурса, в котором имеется много внутренних папок, расположенных одна в другой. Тогда сильно глубокие страницы проверяться не будут;

Advanced

Advanced. Нужно проставить галочки таким образом, чтобы отображалось только то, что видят поисковики.

Это упрощает работу, убирая все лишнее и повышая наглядность;

Preferences

Preferences. Здесь указываются размеры метатегов, URL, заголовков, атрибутов для картинок и самих изображений.

Если важно учесть все страницы, можно ввести большие значения.

Как парсить в Screaming Frog SEO Spider

Нужно ввести адрес сайта и нажать Start. Продолжительность анализа зависит от числа страниц на сайте, в среднем проверка выполняется 5–20 минут.

Во время работы программы можно настроить скорость «Паука». Внизу рабочего окна можно увидеть среднюю и текущую скорость парсинга.

При слишком большой скорости могут возникать сбои. Тогда в настройках нужно указать меньшую скорость.

Возможности Screaming Frog SEO Spider

Кодировка страниц

На страничке Internal нужно найти фильтр HTLM, а точнее столбик Content. Важно, чтобы везде была кодировка UTF-8.

При другой кодировке нужно обратить внимание на соседний столбик: каким кодом отвечает сервер. Допустим, если код «301 редирект», то все нормально.

Метатеги

Это один из ключевых инструментов SEO-парсинга. Важно, чтобы везде были прописаны главный заголовок (H1), description и title.

Оценивается не только их наличие, но и длина. Если страниц много, можно использовать фильтр, который отобразит похожие метатеги.

Это упростит работу. Очень важно, чтобы каждый метатег на сайте был уникальным (отличался от других).

Поисковые системы это очень любят и всегда располагают такие сайты высоко в поисковых выдачах. Дальше нужно проанализировать размеры страниц, а также длительность их загрузки.

Необходимо, чтобы код страницы был не более 200 Кб, а страница загружалась не дольше 5–6 секунд. Если она прогружается долго, нужно открывать код, проверять и исправлять.

Работа с картинками

Чтобы убрать тяжелые изображения, которые замедляют загрузку страницы, нужно открыть вкладку Images, включить фильтр Over 100 kb и удалить все тяжелые картинки. Также важна подпись изображения (атрибут alt).

Необходимо, чтобы она была оптимизирована под соответствующие ключевые слова.

Перелинковка

Основные страницы необходимо располагать как можно ближе к главной странице сайта, у них не должна быть глубокая вложенность. Чем выше расположены ключевые страницы, тем лучше.

Также на этих страницах должно быть меньше исходящих анкоров и больше входящих, то есть должны быть ссылки на других страницах. Чем их больше, тем больше внутриссылочный вес ключевой страницы.

Поиск незаполненных страниц

С помощью фильтра HTML и столбца Word Count нужно проверить, на каких страницах текста нет совсем или его мало. При этом строчки с кодами 404 и 301 следует игнорировать.

Остальные страницы, если они нужны, необходимо дополнить текстовым контентом, а если не нужны — удалить.

Неисправные адреса

Адреса проверяются на вкладке URL. Существует много нюансов, которые нужно учитывать при создании урлов, как технические, так и визуальные.

Желательно, чтобы написание было максимально простым, если есть такая возможность.

Анализ внешних ссылок

Чтобы посмотреть все внешние ссылки, нужно открыть вкладку External. Необходимо провести полный анализ, а затем периодически все перепроверять, смотреть на качественные и количественные значения.

Нерабочие ссылки удалять или редактировать, чтобы они работали.

Понимая, как пользоваться Screaming Frog SEO Spider, можно провести технический аудит сайта и выполнить основные корректировки. Однако не стоит использовать только одну программу.

Гораздо эффективнее применять «Паука» вместе с другими аналитическими средствами.

Короткий словарь

Если встретили незнакомое слово — расшифровка здесь.

Google Analytics
бесплатная статистика посещений и конверсий от Google
robots.txt
файл с правилами для поисковых роботов
SEO
продвижение сайта в поиске Яндекса и Google
H1
главный заголовок страницы

Мы жаждем апнуть и Ваш бизнес тоже.

Заполните поля и мы свяжемся с Вами в ближайшее время!