Эффективная защита сайта от ботов: как избежать незваных гостей?

Согласно исследованиям компании Qrator Labs в последние годы процент ботового трафика в среднем составляет более 40% от всего трафика. Притом, большая часть приходится совсем не на безобидных ботов. А ведь для любого сайта это может стать серьезной проблемой. Причем в зоне риска как компании, только начинающие свой путь, так и настоящие гиганты отрасли.

Давайте разберемся, что представляют из себя боты на самом деле и как с ними бороться.

Типы ботов

Безобидными ботами по сути можно назвать только поисковые роботы. Они ищут новые страницы в сети, индексируют их и включают в поисковую выдачу. Если вы молодец и ваш сайт хорошо SEO-оптимизирован, то это ваши друзья и беспокоиться на их счет не стоит.

Есть еще два типа ботов, которые на первый взгляд выглядят безобидно:

• Боты для оценки качества сайта. Такие боты проверяют ваш ресурс на работоспособность, ищут возможные проблемы с загрузками, битыми ссылками, слишком тяжелыми изображениями.
• SEO-боты. Они помогают анализировать ресурсы конкурентов и узнавать свой рейтинг.

И все-таки их безвредность весьма относительна. Несмотря на то, что эти боты не имеют цели навредить сайту, они увеличивают нагрузку на сервер, поэтому многие владельцы сайтов все же стараются защищаться и от подобных «гостей».

Вредоносные боты и чем они опасны

Чаще всего вредоносные боты имитируют поведение человека на сайте. Разумеется, не в вашу пользу.

Например, они могут:

• Скликивать рекламу на сайте (для этого есть даже специальный термин «кликфрод». Если у есть партнёрские ссылки по CPC программам, баннеры AdSense, РСЯ или другая реклама с оплатой за клики, вы рискуете получить штраф за накрутку или вовсе остаться без выплат. Кроме того клик-боты сильно искажают статистику, ведь показов и кликов получается много, а продаж мало.
• Заполнять формы на сайте. Представьте, что на одну форму от реального пользователя у вас будет приходиться по сотне рекламных или просто заполненных случайными цифрами.
• Оставлять комментарии к статьям или товарам. Хорошо еще, если это будет бессмыслица. Хуже, если вас начнут заваливать поддельными отрицательными отзывами.
• Имитировать накрутку. Задача ботов для накрутки поведенческих факторов может быть в том, чтобы дискредитировать сайт перед поисковыми роботами и таким образом подвести под один из фильтров. Иногда этим «серым» способом продвижения пользуются сами владельцы сайтов или сотрудники рекламных агентств, но для атаки на чужой сайт боты запускаются в намеренно большом количестве.
• Отправлять аномально большое количество запросов к сайту (так называемые DDoS-атаки), чтобы вывести его из строя.

Как видите, вредоносные боты способны доставить множество проблем, поэтому лучше заранее подумать о защите от них, чем бороться с последствиями.

Как проверить, есть ли на сайте ботовый трафик?

Заметить подозрительную активность лучше до начала серьезным проблем.

Определить ботовый трафик вы сможете по следующим признакам:

• Появились пользователи с нелогичным поведением. Быстрый и хаотичный переход по ссылкам, посещение одной и той же страницы несколько раз подряд и так далее.
• Появились просмотры страниц, исключенные из индексации. Боты могут сканировать и посещать страницы, которые обычно не индексируются или не посещаются реальными пользователями.
• Повысился трафик в необычное время. Например, большое количество пользователей начало посещать сайт по ночам или круглосуточно, тогда как раньше активность была только в дневное время.
• Увеличилось количество отказов. Огромное количество пользователей начало практически моментально уходить с сайта.
• Сильно увеличился трафик, а конверсия осталась той же.

Бить тревогу стоит сразу же, как только ботовый трафик начинает составлять более 25% от всего трафика. Такие показатели уже начинают грозить серьезными проблемами от поисковых систем!

Защита сайта от ботов

Рассмотрим три основных способа защиты сайта от вредоносных ботов. И первый из них вам наверняка хорошо знаком.

CAPTCHA

«Капчей» называют небольшое задание, которое появляется на сайтах для того, чтобы убедиться в том, что действие выполняется живым человеком, а не ботом. Вас могут попросить распознать картинку или текст, сложить пазл, выполнить простое математическое задание или другим подобным способом подтвердить, что вы — не программа.

На самом деле CAPTCHA — это аббревиатура. Сompletely automated public Turing test to tell computers and humans apart переводится с английского как «полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей».

Оригинальная система Разработана оригинальная система была еще в начале XXI в США и предназначалась для защиты сайтов от автоматической регистрации. Пользователю показывался искаженный текст, которые не могли распознать боты. Только после введения правильного ответа можно было продолжать работу с ресурсом. В результате появился даже новый вид заработка — спамеры начали нанимать людей для ручного ввода расшифрованного текста. Но интересна здесь реакция разработчиков! Они не просто не закрыли сервис, а добавили ему дополнительную пользу.

Так на свет появилось приложение reCAPTCHA, где использовались уже не случайные символы, а реальный текст из разнообразных архивных документову. Таким образом, например, распознавались архивные номера газеты The New York Times, а после покупки сервиса компанией Google, в ход пошли и старые книги. И сейчас, когда вы пользуетесь приложением, в помогаете расшифровывать разнообразные архивные материалы.

Своя разработка есть и у Яндекса. Еще в 2017 году была выпущена в свет Yandex SmartCaptcha. Основной целью ее создании было предоставления одновременно надежной защиты от ботов и удобной проверки для пользователей. Проще говоря, чтобы надежная CAPTCHA не отпугивала живых людей сложными задачами или текстом, который еще и не всякий человек сможет распознать.

Дело в том, что алгоритмы Yandex SmartCaptcha анализируют поведение пользователя и его cookies-данные, чтобы понять, является ли он ботом. По утверждению разработчиков, более 50% пользователям в результате достаточно просто кликнуть «я не робот» и только попавшие под подозрения должны пройти испытание привычной «капчей».

Есть, разумеется, у решения от Яндекса свои недостатки. Возможны конфликты с формами отправки заявок, ложные срабатывания и ошибки или задержки при нестабильном соединении.

Кроме капчи от поисковых систем, есть разнообразные скрипты от компаний. Например, скрипт для защиты сайта от Пиксель Тулс. Работает он совершенно незаметно для пользователя: при открытии сайта появляется всплывающее окно, которое можно оформить как выбор региона, подтверждения возраста или другой повод для первичного обращения. Если пользователь закрывает окно после нужного действия, начинает выполнятся отложенная загрузка счётчиков Яндекс.Метрики и Google Analytics. А если взаимодействия с окном не будет, значит с большой долей вероятности это робот и коды систем аналитики от него будут скрыты.

Блокировка IP-адресов

Довольно распространенный метод защиты, работающий скорее как временное решение. Дело в том, что вам требуется вручную создавать правила блокировки или блокировать отдельные адреса. Но сегодня использование прокси распространено довольно сильно, поэтому подменить IP-адрес не составляет труда. Кроме того, IP спамеров, как правило, не являются постоянными. То есть сегодня вы блокируете вредителя, а завтра это уже будет обычный пользователь, который не сможет зайти на сайт.

Встроенные средства защиты от DDoS-атак и нашествий ботов

Здесь мы имеем в виду средства встроенные средства защиты от DDoS-атак у хостер-провайдеров. Такие варианты удобны тем, что вам не приходится самостоятельно выбирать сервисы и решения, все уже продумали до вас. Вы просто подключаете тариф с защитой и пользуетесь. Фильтры IP-адресов, блокирование повторяющихся запросов, отслеживание поведения пользователей, определение «хороших» и «плохих» ботов: все это обеспечивается хостингом.

Чаще всего минимальную защиту можно найти уже в базовом тарифе, а за дополнительную плату вы получаете расширенные возможности защиты или настройку по конкретным правилам.

Сервисы защиты от ботового трафика

Существуют сервисы, которые способны помочь вам в борьбе с вредоносными ботами. Мы рассмотрели плюсы и минусы некоторых из них.

• BotFAQtor. Качественно анализирует трафик и определяет ботов по типам визитов, поведению, источникам и многим другим признакам. Включает в себя множество сервисов с возможностью дополнительных проверок, плагин для WordPress и незаметный фильтр ботов (когда пользователю не приходится решать задачи или распознавать текст). Из недостатков можно отметить снижение скорости загрузки страниц и возможное снижение скорости загрузки баннеров (если у вас стоит защита от клик-ботов).
• CloudFlare. Уже на бесплатном тарифе вы получаете большой набор защиты от ботов, в том числе одну из лучших защит от DDOS-атак. К сожалению, при этом он совершенно не защищает от накрутки поведенческих факторов.
• Incapsula. Даже бесплатный тарифный план предусматривает удаление спама в комментариях, защиту на основе репутации, уведомления об угрозах безопасности, проверку КАПЧИ, подобную Cloudflare, и многое другое. Но есть и серьезные недостатки. Например, для работы с сервисом вы должны изменить настройки DNS вашего домена, чтобы направлять весь трафик веб-сайта через Incapsula, что подойдет не всем.

Из общих недостатков можно назвать довольно высокую стоимость на подобные услуги и отсутствие индивидуального подхода (что, в целом, логично для любых сервисов).

Надеемся, что эта статья помогла вам лучше сориентироваться в вопросе ботового трафика и понять, как определить и что делать с вредоносными ботами. Не забывайте, что лучше обезопасить свой сайт заранее, чем разбираться с последствиями!