Как удалить спамный трафик и почему нужно вообще избавляться от трафика? Не каждый трафик одинаково полезен. Существует вредный и самый некачественный трафик, который значительно понижает ваши позиции в поисковой системе
Честно признаюсь, прошло много времени, перед тем, как у меня получилось разобраться в том, как снизить поток ботов на сайт (сиреневым на графике прямые заходы):
Содержание
Что представляет из себя спамный трафик?
Спамный, вредный трафик представляет из себя переходы на сайт с помощью специальной программы.
Спамный трафик – это зловредный призрак, преследующий владельцев сайтов. Он искусственно накручивает показатели посещаемости, но не приносит пользы, а наоборот, вредит рейтингу и может привести к блокировке поисковыми системами. Это пустые клики, лишенные реального интереса к контенту, – маркетинговый миф, угрожающий реальному успеху.
Иногда конкуренты специально заказывают такие переходы, чтобы ухудшить позиции сайта в поиске
Попробовать решить проблему с помощью поддержки хостинга
Можно попробовать решить проблему со спамным трафиком через техническую поддержку хостинга
В моем случае это не помогло((.
Как убрать переходы с отказами
Переходим в Отчеты — Источники, сводка. Видим кучу прямых заходов менее, чем на 15 секунд
Можно также проверить, на какую страницу приходится вредный трафик (в моем случае на главную), а так же желательно посмотреть другие параметры в вебвизоре, например важно посмотреть интервал переходов.
Итак, резюмируя, нас интересуют пользователи, которые совершают:
прямые заходы
с частым интервалом переходов — иногда менее минуты
в моем случае, с системы Android
По времени — не более 16 с.
Теперь нам нужно узнать, с какого ip адреса приходят такие посещения.
Как определить ip нежелательного визита
Нужно перейти на свой хостинг в файловый менеджер или через ftp клиента и найти файлы с расширением .log
Найдите, где они находятся на вашем хостинге
Например, в timeweb.ru эти файлы размещены на одном уровне с папкой public
Если их нет, то их необходимо включить по ссылке https://hosting.timeweb.ru/logmanager
Включили логи, переходим в файловый менеджер и видим файл access_log. Он, как раз, и нужен для определения посещений сайта людьми и ботами
Вот такой вид:
Лучше подождать несколько часов, чтобы он наполнился статистикой
Скачиваем файл на компьютер, открываем блокнотом (можно скопировать в word, чтобы удобнее было смотреть) и находим посетителей, соответствующих нашим параметрам:
прямые заходы
с частым интервалом переходов — иногда менее минуты
в моем случае, с системы Android
По времени — не более 16 с.
Удобнее всего, сверять по времени посещения, если в статистике есть вебвизор
Номер ip
В поиске вводим свой url, с которого приходит спам, он выделяется желтым. Находим посещения, которые похожи на спамные. В моем случае, это ip, записанный шестнадцатеричным кодом
IP-адрес выглядит как набор чисел, разделённых точками (в версии интернет-протокола IPv4) или двоеточиями (в версии IPv6).
Адреса IPv4 состоят из четырёх десятичных чисел (каждое от 0 до 255), разделённых точками. Например, 192.168.0.1. 1
Адреса IPv6 записываются в виде восьми групп по четыре шестнадцатеричных цифры, разделённых двоеточиями. Например, 2001:0db8:85a3:0000:0000:8a2e:0370:7334. 1
Спам в моем случае, всегда ip из шестнадцатеричных цифр 2a09:e2c2:641b:ea58:3f13:8962:331d:7064
Собираем список из ip адресов, у многих это может быть всего 1 адрес
Как заблокировать ip адреса
Для блокировки открываем файл .htaccess и дописываем туда несколько строк для блокировки:
Order Allow,Deny Allow from all Deny from 109.252.100.11 (вместо этого ваш ip)
Сохраняем изменения в .htaccess и следим за изменениями в метрике. Надеюсь, все получится!
Есть более сложный вариант, когда спам идет по огромному количеству ip, как это было у меня
Спам ботами с разными ip — что делать? Блокировка сети ip
У меня после просмотра файла логов было огромное количество разных ip адресов. Блокировать их просто бесполезно, т.к. вредный ip постоянно меняется, а задача на порядок усложняется
Находим диапазон ip — это строка inet6num — здесь и будет диапазон — в данном случае 2a09:e2c2::/32
По-сути достаточно после первых 9 символов добавить ::/32 — это и будет диапазон, пример 1111:1111::/32
Блокировка диапазона ip через .htaccess
В .htaccess добавляем строку:
Deny from 2a11:981::/32, где 2a11:981::/32 - диапазон Ip
Сохраняем изменения в .htaccess.
Если поисковый бот или IP-адрес заблокирован в файле .htaccess, при попытке обратиться к сайту будет возвращен код ответа 403 Forbidden.
Эти запросы будут зафиксированы в статистике по использованию CPU, но не повлияют на нагрузку процессора, поскольку при получении кода ответа 403 Forbidden сервер прекращает выполнение запроса из-за указанных в .htaccess ограничений.
Использование плагинов WordPress (для сайтов на WordPress):
Что это: Многие плагины WordPress помогают блокировать нежелательных ботов и защищать сайт от вредоносного ПО.
Примеры: Wordfence, iThemes Security (новое название Solid Security), Sucuri Security. Эти плагины предлагают различные методы блокировки, такие как блокировка по IP-адресу, User-Agent, а также более сложные методы анализа поведения ботов.
Использование сервисов защиты от DDoS:
Что это: Сервисы защиты от DDoS-атак (распределенных отказов в обслуживании) также помогают блокировать нежелательный трафик, включая трафик от ботов.
Важно: Не пытайтесь блокировать всех ботов. Блокировка полезных ботов может отрицательно повлиять на SEO вашего сайта. Внимательно анализируйте логи и используйте целенаправленный подход к блокировке только нежелательных ботов.
