Краулинг сайта что это
5 способов краулинга веб-сайта
Из Википедии веб-краулер или паук – бот, который с просматривает всемирную паутину, как правило, с целью индексации. Поисковики и другие веб-сайты используют краулеры для обновления своего содержимого или индексации содержимого других сайтов.
Metasploit
Вспомогательный поисковый модуль Metasploit представляет собой модульный поисковый робот, который будет использоваться вместе с wmap или автономно.
Видно, что был запущен сканер, с помощью которого можно найти скрытые файлы на любом веб-сайте, например:
Что невозможно сделать вручную при помощи браузера.
Httrack
HTTrack — это бесплатный краулер и автономный браузер с открытым исходным кодом. Он позволяет полностью скачать веб-сайт, рекурсивно строя все каталоги
получая:
HTTrack упорядочивает относительную структуру ссылок исходного сайта.
Введем следующую команду внутри терминала
Он сохранит вывод в заданном каталоге /root/Desktop/file
На скриншоте можно увидеть, что Httrack скачал немало информации о веб-сайте, среди которой много:
Black Widow
Представляет собой загрузчик веб-сайтов и офлайн браузер. Обнаруживает и отображает подробную информацию для выбранной пользователем веб-страницы. Понятный интерфейс BlackWidow с логическими вкладками достаточно прост, но обилие скрытых возможностей может удивить даже опытных пользователей. Просто введите желаемый URL и нажмите Go. BlackWidow использует многопоточность для быстрой загрузки всех файлов и проверки ссылок. Для небольших веб-сайтов операция занимает всего несколько минут.
Введем свой URL http://tptl.in в поле адрес и нажмем «Go».
Нажимаем кнопку «Start», расположенную слева, чтобы начать сканирование URL-адресов, а также выбираем папку для сохранения выходного файла. На скриншоте видно, что просматривался каталог C:\Users\RAJ\Desktop\tptl, чтобы сохранить в нем выходной файл.
В каталоге tptl теперь будут храниться все данные веб-сайта:
Website Ripper Copier
Website Ripper Copier (WRC) — это универсальная высокоскоростная программа-загрузчик веб-сайтов. WRC может загружать файлы веб-сайтов на локальный диск для просмотра в автономном режиме, извлекать файлы веб-сайтов определенного размера и типа, такие как:
Также WRC может извлекать большое количество файлов в качестве диспетчера загрузки с поддержкой возобновления.
Вдобавок WRC является средством проверки ссылок на сайты, проводником и веб-браузером с вкладками, предотвращающим всплывающие окна. Website Ripper Copier — единственный инструмент для загрузки веб-сайтов, который может:
Выбираем «websites for offline browsing».
Вводим URL-адрес веб-сайта как http://tptl.in и нажимаем «next».
Указываем путь к каталогу, чтобы сохранить результат, после чего жмём «run now».
При открытии выбранного каталога tp, внутри него будут файлы:
Burp Suite Spider
Burp Suite Spider – это инструмент для автоматического сканирования веб-приложений, более подробно о котором уже писали на habr. В большинстве случаев желательно отображать приложения вручную, но с помощью Burp Spider данный процесс можно автоматизировать, что упростит работу с очень большими приложениями или при нехватке времени.
На скриншоте видно, что http-запрос был отправлен «пауку» с помощью контекстного меню.
Веб-сайт был добавлен на карту сайта под целевой вкладкой в качестве новой области для веб-сканирования, в результате которого была собрана информация в форме:
Что такое краулинг и как управлять роботами
Выдача ответов на поисковый запрос на странице поиска за долю секунды только верхушка айсберга. В «черном ящике» поисковых систем — просканированные и занесенные в специальную базу данных миллиарды страниц, которые отбираются для представления с учетом множества факторов.
Страница с результатами поиска формируется в результате трех процессов:
В этом выпуске «Азбуки SEO» речь пойдет о сканировании или краулинге страниц сайта.
Как работает сканирование (краулинг) сайта?
Если кратко, краулинг (сканирование, crawling) — процесс обнаружения и сбора поисковым роботом (краулером) новых и обновленные страницы для добавления в индекс поисковых систем. Сканирование — начальный этап, данные собираются только для дальнейшей внутренней обработки (построения индекса) и не отображаются в результатах поиска. Просканированная страница не всегда оказывается проиндексированной.
Поисковый робот (он же crawler, краулер, паук, бот) — программа для сбора контента в интернете. Краулер состоит из множества компьютеров, запрашивающих и выбирающих страницы намного быстрее, чем пользователь с помощью своего веб-браузера. Фактически он может запрашивать тысячи разных страниц одновременно.
Что еще делает робот-краулер:
При сканировании пауки просматривают страницы и выполняют переход по содержащимся на них ссылкам так же, как и обычные пользователи. При этом разный контент исследуется ботами в разной последовательности. Это позволяет одновременно обрабатывать огромные массивы данных.
Например, в Google существуют роботы для обработки разного типа контента:
В статье о robots.txt мы собрали полный перечень роботов-пауков. Знакомьтесь 🙂
Кстати, именно с robots.txt и начинается процесс сканирования сайта — краулер пытается обнаружить ограничения доступа к контенту и ссылку на карту сайта (Sitemap). В карте сайта должны находиться ссылки на важные страницы сайта. В некоторых случаях поисковый робот может проигнорировать этот документ и страницы попадут в индекс, поэтому конфиденциальную информацию нужно закрывать паролем непосредственно на сервере.
Просматривая сайты, бот находит на каждой странице ссылки и добавляет их в свою базу. Робот может обнаружить ваш сайт даже без размещения ссылок на него на сторонних ресурсах. Для этого нужно осуществить переход по ссылке с вашего сервера на другой. Заголовок HTTP-запроса клиента «referer» будет содержать URL источника запроса и, скорее всего, сохранится в журнале источников ссылок на целевом сервере. Следовательно, станет доступным для робота.
5 способов краулинга веб-сайта
Из Википедии веб-краулер или паук – бот, который с просматривает всемирную паутину, как правило, с целью индексации. Поисковики и другие веб-сайты используют краулеры для обновления своего содержимого или индексации содержимого других сайтов.
Metasploit
Вспомогательный поисковый модуль Metasploit представляет собой модульный поисковый робот, который будет использоваться вместе с wmap или автономно.
Видно, что был запущен сканер, с помощью которого можно найти скрытые файлы на любом веб-сайте, например:
Что невозможно сделать вручную при помощи браузера.
Httrack
HTTrack — это бесплатный краулер и автономный браузер с открытым исходным кодом. Он позволяет полностью скачать веб-сайт, рекурсивно строя все каталоги
получая:
HTTrack упорядочивает относительную структуру ссылок исходного сайта.
Введем следующую команду внутри терминала
Он сохранит вывод в заданном каталоге /root/Desktop/file
На скриншоте можно увидеть, что Httrack скачал немало информации о веб-сайте, среди которой много:
Black Widow
Представляет собой загрузчик веб-сайтов и офлайн браузер. Обнаруживает и отображает подробную информацию для выбранной пользователем веб-страницы. Понятный интерфейс BlackWidow с логическими вкладками достаточно прост, но обилие скрытых возможностей может удивить даже опытных пользователей. Просто введите желаемый URL и нажмите Go. BlackWidow использует многопоточность для быстрой загрузки всех файлов и проверки ссылок. Для небольших веб-сайтов операция занимает всего несколько минут.
Введем свой URL http://tptl.in в поле адрес и нажмем «Go».
Нажимаем кнопку «Start», расположенную слева, чтобы начать сканирование URL-адресов, а также выбираем папку для сохранения выходного файла. На скриншоте видно, что просматривался каталог C:\Users\RAJ\Desktop\tptl, чтобы сохранить в нем выходной файл.
В каталоге tptl теперь будут храниться все данные веб-сайта:
Website Ripper Copier
Website Ripper Copier (WRC) — это универсальная высокоскоростная программа-загрузчик веб-сайтов. WRC может загружать файлы веб-сайтов на локальный диск для просмотра в автономном режиме, извлекать файлы веб-сайтов определенного размера и типа, такие как:
Также WRC может извлекать большое количество файлов в качестве диспетчера загрузки с поддержкой возобновления.
Вдобавок WRC является средством проверки ссылок на сайты, проводником и веб-браузером с вкладками, предотвращающим всплывающие окна. Website Ripper Copier — единственный инструмент для загрузки веб-сайтов, который может:
Выбираем «websites for offline browsing».
Вводим URL-адрес веб-сайта как http://tptl.in и нажимаем «next».
Указываем путь к каталогу, чтобы сохранить результат, после чего жмём «run now».
При открытии выбранного каталога tp, внутри него будут файлы:
Burp Suite Spider
Burp Suite Spider – это инструмент для автоматического сканирования веб-приложений, более подробно о котором уже писали на habr. В большинстве случаев желательно отображать приложения вручную, но с помощью Burp Spider данный процесс можно автоматизировать, что упростит работу с очень большими приложениями или при нехватке времени.
На скриншоте видно, что http-запрос был отправлен «пауку» с помощью контекстного меню.
Веб-сайт был добавлен на карту сайта под целевой вкладкой в качестве новой области для веб-сканирования, в результате которого была собрана информация в форме:
Достаточно ли вы знаете о web-scale crawling
1 июня 2018 года прошла одна из самых масштабных конференций о продвижении на западных рынках Nazapad 9. Tim Soulo (Head of Marketing & Product Strategy at Ahrefs) затронул тему краулинга, рассказал что такое crawl budget, а также как индексируются ссылки. Эта тема достаточно сложная и объемная, так что заваривайте чай, садитесь поудобнее и будем разбираться вместе.
Как работает web-scale crawling
Все веб-краулеры собирают информацию примерно одинаково, но речь будет идти о краулере Ahrefs. Вот как это выглядит в геометрической прогрессии:
Предположим, что Краулер зашел на страницу, на которой находится 3 ссылки. Далее ему необходимо перейти на каждую из этих трёх ссылок, где в свою очередь находится еще 3 ссылки. То есть далее ему необходимо перейти на 9 страниц и тд. Но в реальной жизни на страницах практически никогда не бывает 3 ссылок, обычно это 50-60-100 и за пару шагов кол-во страниц, которые нужно прокраулить вырастает в сотни раз. Поэтому невозможно краулить новые страницы мгновенно. В связи с этим существует система “Краулер-Планировщик”.
Задача Краулера ходить по страницам, просматривать их контент и находить новые страницы. После чего отдавать эти страницы Планировщику, а он уже в свою очередь приоритезирует эту информацию и говорит Краулеру, что необходимо краулить в первую очередь. По этой причине существует некая задержка между тем, когда краулер найдет какой-то URL и тем когда он его прокраулит. Есть важные пункты, которые необходимо отменить:
На странице https://ahrefs.com/big-data мы можем увидеть сколько страниц прокраулил Ahrefsbot, не считая тех, что все еще висят в Планировщике.
Те ссылки, которые висели в планировщике более 90 дней Ahrefs отмечает как delayed.
Что такое crawl budget (краулинговый бюджет)
При краулинге нового домена, Ahrefsbot смотрит на следующие параметры:
Если рейтинг домена слишком маленький и он имеет слишком большое количество страниц, то качественные страницы этого домена могут вытеснить из индекса менее качественны. Такие страницы помечены как dropped.
Что представляет собой индекс ссылок
Чтобы в индексе оставались актуальные страницы необходимо придерживаться некоторых правил:
Ahrefs краулит 5000000 страниц в минуту, 80% из которых это ре-краул. Если страница очень крутая, на нее постоянно появляется куча ссылок, у нее хороший рейтинг или на ней что-то меняется, то её ре-краулят часто. Минимальный интервал ре-краула таких страниц — 1 час. Если у страницы плохой рейтинг и на неё нет новых ссылок, то такая страница будет ре-краулиться реже. Максимальный интервал — 6 месяцев.
Иногда при сравнении индекса Ahrefs и других сервисов, первый показывает меньше ссылок, хотя принято считать, что у Ahrefs индекс самый обширный. Дело в том, что ре-краулинг происходит слишком часто и Ahrefs быстрее видит, что ссылки пропали. Ввиду этого в Ahrefs создано 3 индекса:
Зачастую стоит обращать внимание на индекс Recent, так как большинство причин удаления ссылки из индекса обратимы:
Рассмотрим подробнее эти причины. Они разделены на 2 группы. Первая относится к странице, на которой вас линкуют. Вторая категория относится к самой ссылке. Страница:
Чем отличаются индексы разных провайдеров
То, как считаются ссылки, очень важно, потому что разные провайдеры считают ссылки по разному. Для примера, в посте “Why Counting Links Is Not So Easy” директор по маркетингу Majestic по состоянию на 2011 год в задаче по определению количества ссылок на страницу B из картинки ниже указал, что они определяют 4 ссылки на эту страницу. В Ahrefs будет учитываться 7-8 ссылок. Другие провайдеры могут считать совсем по другому.
Еще пример, в Majestic статья «Beginner’s Guide to SEO» имеет 126,201 ссылок с сайта coschedule.com:
На Ahrefs всего 17 ссылок на данную статью из этого сайта:
Оказалось, что Majestic учитывает страницы с UTM-метками несмотря на том, что на странице указан rel= «canonical»:
Ссылки в JavaScript — это еще один важный момент, который нужно учитывать. На скриншоте ниже указано какие поисковики кроулят js frameworks. Из линк-индексов только Ahrefs недавно начал это делать и включать такие ссылки в свой индекс. Поэтому в Ahrefs есть определенные ссылки, которых нет у других.
Что такое AR/DR/UR
AR = Ahrefs Rank. Рейтинг сайтов строится на основе их Backlinks.
DR = Domain Rating. По сути это все сайты из AR загнанные в шкалу от 1 до 100. DR это быстрый способ определить где определенный сайт находится по соотношению ко всем остальным сайтам.
UR = URL Rating. Не стоит путать в метрикой DR, она относится ко всему домену. UR относится к каждой странице сайта отдельно.
Вот и всё. Надеемся каждый, кто уделил свое время прочтению статьи, почерпнул из нее что-то новое для себя.
Краулинговый бюджет сайта — что это и как его оптимизировать?
Краулинговый бюджет влияет на индексацию сайта.
Индексация влияет на способность сайта приносить экономические выгоды.
Что такое краулинговый бюджет? На основе каких данных формируется значение?
Как улучшить ситуацию с индексацией сайта?
Разберемся с вопросами далее.
Как происходит индексация сайта?
Попадание страницы в индекс поисковой системы происходит после посещения страницы поисковым краулером.
Далее страница обрабатывается системой краулинга. На следующем этапе страница оценивается системой ранжирования.
Весь процесс выглядит так:
Скорость попадания страниц в поисковую выдачу напрямую зависит от наличия на странице кода JavaScript.
Если на странице есть код JavaScript, то обработка происходит в 2 волны.
Если на странице требуется использовать ленивую загрузку, то не обязательно использовать JavaScript. Для реализации ленивой загрузки можно использовать атрибут loading=lazy. Рекомендованный материал в блоге MegaIndex по теме атрибута loading по ссылке далее — Появился новый атрибут тега img, который позволяет ускорить загрузку сайта. Пример реализации.
Итак, если на странице есть JavaScript, то поисковая система будет выполнять рендеринг страниц с учетом выполнения кода. После рендеринга страница попадает на анализ в систему ранжирования.
Но в поисковых системах есть метрика, которая используется до инициализации процесса сканирования сайта. От значения данной метрики зависит дальнейший процесс индексации.
Данная метрика называется краулинговым бюджетом сайта.
От значения краулингового бюджета зависит количество страниц, которое краулер обработает в рамках посещения сайта.
Краулинговый бюджет
Итак, в поисковых системах для сайтов рассчитывается специальный параметр, от которого зависит процесс индексации.
Что такое краулинговый бюджет? Краулинговый бюджет — это метрика, которая определяет квоту страниц хоста, подлежащих индексации в рамках одного визита краулера поисковой системы.
Если значение количества страниц вне индекса превышает пороговое значение краулингового бюджета, то ряд страниц сайта добавлен в индекс поисковой системы не будет.
Страницы не будут проиндексированы, и не будут оценены системой ранжирования даже в том случае, если поисковая система имеет сведения о данных страницах.
Значение краулингового бюджета для каждого сайта рассчитывается на индивидуальной основе.
Как рассчитывается краулинговый бюджет?
Итак, в плане индексации поисковая система по-разному оценивает каждый сайт. Объем страниц, которые подлежат индексации зависит от краулингового бюджета сайта.
От чего зависит значение краулингового бюджета? Вопреки расхожим мифам на значение краулингового бюджета влияет только два фактора.
Числовое значение краулингового бюджета зависит от таких факторов:
Как повысить краулинговый бюджет сайта?
Манипуляции с файлом sitemap.xml не влияют на краулинговый бюджет.
Настройка директив robots не влияет на краулинговый бюджет.
А что работает? На практике повышение числового значения краулингового бюджета может быть достигнуто следующими способами:
Какие работы следует провести для оптимизации способности сервера обрабатывать запросы, без снижения скорости загрузки? Сначала следует провести анализ динамики скорости отдачи контента при сканировании сайта краулерами.
Выявить визит краулера можно на основе данных из логов сервера. Если скорость не понижается, никаких дополнительных мер выполнять не следует.
Если скорость понижается, далее список мер следующий:
Для реализации задачи на практике существуют специальные инструменты. Например, инструмент для поиска сайтов, на которых размещены ссылки сразу на несколько конкурентных проектов. Для выгрузки результата достаточно ввести продвигаемый сайт и список конкурентов.
Пример. Сайт wixfy.com. Тематика сайта — продвижение в поисковых системах сайтов, которые созданы на Wix. Есть как минимум 3 сайта, освещающие тему поисковой оптимизации сайтов на Wix.
Выгрузка по отчету следующая:
Рекомендованные материалы в блоге MegaIndex на тему повышение авторитетности сайта путем внешней оптимизации по ссылкам далее:
Как улучшить индексацию сайта в рамках текущего значения краулингового бюджета?
Зачастую в индекс поисковой системы попадают ненужные и/или неприоритетные страницы сайтов.
Серьезные проблемы с краулинговым бюджетом появляются в таких случаях:
Сервис бесплатный.
Сервис позволяет провести сканирование сайта и найти страницы сайта с маленьким значением размера body. Зачастую такие страницы являются техническими и ненужными, но попадают в индекс поисковой системы. Выявление таких страниц является основной для дальнейших действий по оптимизации системы управления.
Вопросы и ответы
Влияет ли robots.txt на краулинговый бюджет?
Применяя данную директиву можно задать список страниц, которые поисковому краулеру следует игнорировать, то есть не посещать.
Но указанные в файле robots.txt директивы являются не обязательными к исполнению поисковой системой.
Влияет ли запрет индексации в мета-теге robots на краулинговый бюджет?
Директивы в мета-теге являются обязательными к исполнению в поисковых системах Google, Bing и Yandex. Поисковый краулер действительно не будет отправлять такие страницы на обработку в целях индексации.
Рекомендованный материал в блоге MegaIndex по теме применения директив robots на сайте по ссылке далее — Как удалить страницы из индекса поисковых систем? Какие страницы нужно удалить из выдачи? Зачем?
Но краулер поисковой системы все равно может посещать такие страницы, если на такие страницы есть ссылки.
В результате краулинговый бюджет будет расходоваться также и на ненужные в индексе страницы.
Как узнать краулинговый бюджет на текущий момент?
Краулинговый бюджет зависит от авторитетности сайта и способности сервера обрабатывать запросы, без снижения скорости загрузки сайта.
Значение может меняться, как в большую, так и меньшую сторону.
Узнать точное значение по текущему бюджету на сканирование можно путем анализа логов сервера.
Что будет, если не оптимизировать краулинговый бюджет?
Если не выполнен комплекс мер по поисковой оптимизации краулингового бюджета сайта, то негативные последствия для проекта заключаются в следующем:
Для увеличения кликабельности в поисковой выдаче следует создавать привлекательный сниппет. Для решения задачи по созданию кликабельных сниппетов можно использовать анализ сниппетов страниц конкурентных сайтов.
Рекомендованные материалы в блоге MegaIndex по теме сниппетов по ссылкам далее:
Выводы
Индексация сайта напрямую влияет на трафик, а следовательно на показатель конверсии и способность сайта приносить экономические выгоды.
Попадание страниц в индекс поисковых систем зависит от краулингового бюджета.
Краулинговый бюджет поискового робота является числовым значением, от которого зависит количество страниц, которое может быть добавлено в индекс поисковой системы.
Важно, чтобы в индекс поисковых систем попали все приоритетные страницы сайта.
Низкое значение краулингового бюджета и/или расход бюджета на ненужные страницы приводит к потере трафика.
Нужные страницы могут не индексироваться.
Если нужные страницы не индексируются, то контент сайта может быть украден и опубликован на другом сайте.
Иначе трафик сайта будет уменьшаться. Уменьшение целевого трафика влечет уменьшение охвата и экономической выгоды от сайта.
Значение crawl budget в автоматическом режиме регулируется такими параметрами как авторитетность сайта и способности сервера обрабатывать запросы, без снижения скорости загрузки.
Улучшить авторитетность сайта можно посредством оптимизации внешнего ссылочного профиля.
Улучшить производительность сервера можно посредством смены платформы. Альтернативным вариантом является имплементация технологии server side rendering.
В результате все нужные страницы сайта будут добавляться в индекс поисковой системы.
В рамках текущего краулингового бюджета следует выполнить такие задачи: