Как удалить спамный трафик и почему нужно вообще избавляться от трафика? Не каждый трафик одинаково полезен. Существует вредный и самый некачественный трафик, который значительно понижает ваши позиции в поисковой системе
Содержание
Что представляет из себя спамный трафик?
Спамный, вредный трафик представляет из себя переходы на сайт с помощью специальной программы.
Спамный трафик – это зловредный призрак, преследующий владельцев сайтов. Он искусственно накручивает показатели посещаемости, но не приносит пользы, а наоборот, вредит рейтингу и может привести к блокировке поисковыми системами. Это пустые клики, лишенные реального интереса к контенту, – маркетинговый миф, угрожающий реальному успеху.
Иногда конкуренты специально заказывают такие переходы, чтобы ухудшить позиции сайта в поиске
Попробовать решить проблему с помощью поддержки хостинга
Можно попробовать решить проблему со спамным трафиком через техническую поддержку хостинга
В моем случае это не помогло((.
Как убрать переходы с отказами
Переходим в Отчеты — Источники, сводка. Видим кучу прямых заходов менее, чем на 15 секунд
Можно также проверить, на какую страницу приходится вредный трафик (в моем случае на главную), а так же желательно посмотреть другие параметры в вебвизоре, например важно посмотреть интервал переходов.
Итак, резюмируя, нас интересуют пользователи, которые совершают:
прямые заходы
с частым интервалом переходов — иногда менее минуты
в моем случае, с системы Android
По времени — не более 16 с.
Теперь нам нужно узнать, с какого ip адреса приходят такие посещения.
Как определить ip нежелательного визита
Нужно перейти на свой хостинг в файловый менеджер или через ftp клиента и найти файлы с расширением .log
Найдите, где они находятся на вашем хостинге
Например, в timeweb.ru эти файлы размещены на одном уровне с папкой public
Если их нет, то их необходимо включить по ссылке https://hosting.timeweb.ru/logmanager
Включили логи, переходим в файловый менеджер и видим файл access_log. Он, как раз, и нужен для определения посещений сайта людьми и ботами
Вот такой вид:
Лучше подождать несколько часов, чтобы он наполнился статистикой
Скачиваем файл на компьютер, открываем блокнотом (можно скопировать в word, чтобы удобнее было смотреть) и находим посетителей, соответствующих нашим параметрам:
прямые заходы
с частым интервалом переходов — иногда менее минуты
в моем случае, с системы Android
По времени — не более 16 с.
Удобнее всего, сверять по времени посещения, если в статистике есть вебвизор
Номер ip
В поиске вводим свой url, с которого приходит спам, он выделяется желтым. Находим посещения, которые похожи на спамные. В моем случае, это ip, записанный шестнадцатеричным кодом
IP-адрес выглядит как набор чисел, разделённых точками (в версии интернет-протокола IPv4) или двоеточиями (в версии IPv6).
Адреса IPv4 состоят из четырёх десятичных чисел (каждое от 0 до 255), разделённых точками. Например, 192.168.0.1. 1
Адреса IPv6 записываются в виде восьми групп по четыре шестнадцатеричных цифры, разделённых двоеточиями. Например, 2001:0db8:85a3:0000:0000:8a2e:0370:7334. 1
Спам в моем случае, всегда ip из шестнадцатеричных цифр 2a09:e2c2:641b:ea58:3f13:8962:331d:7064
Собираем список из ip адресов, у многих это может быть всего 1 адрес
Как заблокировать ip адреса
Для блокировки открываем файл .htaccess и дописываем туда несколько строк для блокировки:
Order Allow,Deny Allow from all Deny from 109.252.100.11 (вместо этого ваш ip)
Сохраняем изменения в .htaccess и следим за изменениями в метрике. Надеюсь, все получится!
Есть более сложный вариант, когда спам идет по огромному количеству ip, как это было у меня
Спам ботами с разными ip — что делать? Блокировка ботов по имени
У меня после просмотра файла логов было огромное количество разных ip адресов. Блокировать их просто бесполезно, т.к. вредный ip постоянно меняется, а задача на порядок усложняется
Что делать в такой ситуации?
Определяем точно спамное посещение по файлу логов и копируем его ip
Находим строку «Organization» — если такой строки нет или там написано что-то несуразное, значит бот с большой вероятностью спамный.
На фото ниже пример хорошего бота — он принадлежит организации «Google» — его нужно оставить
В нашем случае, строчки с названием организации не найдено, так что, с большой долей вероятности, бот относится к спамным
Находим имя бота это — «proxymania-net»:
Этому боту может принадлежать большое количество ip, помимо уже проверенного, поэтому, отключив его по имени, можно отсечь кучу спамных переходов. Проверяем остальные ip, возможно, там будет такое же имя.
Блокировка ботов по имени через .htaccess
В .htaccess добавляем строку:
SetEnvIfNoCase User-Agent "Name_of_bot" bad_bot
И вставляем свое имя бота
Далее задаем правила доступа к нашему сайту, заблокировав плохого бота:
<Limit GET POST HEAD>Order Allow,Deny Allow from allDeny from env=bad_bot </Limit>
Сохраняем изменения в .htaccess.
Если поисковый бот или IP-адрес заблокирован в файле .htaccess, при попытке обратиться к сайту будет возвращен код ответа 403 Forbidden.
Эти запросы будут зафиксированы в статистике по использованию CPU, но не повлияют на нагрузку процессора, поскольку при получении кода ответа 403 Forbidden сервер прекращает выполнение запроса из-за указанных в .htaccess ограничений.
Если указанное выше правило не сработало, есть другой вариант редактирования .htaccess
Если это все не помогает, есть еще способы, например, плагины word press или редактирование robots.txt
. Использование файла robots.txt:
Что это: Файл robots.txt — это текстовый файл, который размещается в корневом каталоге вашего сайта и содержит инструкции для поисковых роботов о том, какие страницы сайта им разрешено индексировать, а какие — нет.
Как это работает: Вы можете указать в этом файле, какие папки или страницы должны быть недоступны для определенных ботов.
Пример: Если вы хотите запретить боту badbot доступ ко всем страницам сайта, добавьте следующую строку в robots.txt:
User-agent: badbot
Disallow: /
Как узнать имя бота?
User-agent: badbot — это пример, демонстрирующий, как строка User-agent в файле robots.txt указывает на конкретного бота. badbot — это выдуманное имя. В реальности имена ботов разнообразны.
Чтобы узнать имя конкретного бота, который посещает ваш сайт, нужно анализировать логи веб-сервера. В логах обычно содержится информация о User-Agent каждого запроса.
Как найти информацию о User-Agent в логах:
Местоположение логов веб-сервера зависит от вашего хостинга и используемого программного обеспечения (Apache, Nginx и т.д.). Обычно они хранятся в папке logs на вашем сервере.
После того, как вы нашли логи (как найти логи писала выше), вам понадобится найти строки, содержащие информацию о User-Agent. Формат логов может немного отличаться в зависимости от настроек сервера, но обычно искомая информация выглядит примерно так:
Анализ имени: Попробуйте определить по имени, что это за бот. Многие боты имеют очевидные имена, например: Googlebot, Bingbot, YandexBot, AhrefsBot, SemrushBot.
Поиск в интернете: Если имя вам незнакомо, введите его в поисковую систему. Это поможет определить, что это за бот и является ли он потенциально вредоносным.
Проверка на известные вредоносные боты: Существуют списки известных вредоносных ботов. Сравните найденное имя с этим списком.
Обратите внимание на IP-адрес: Кроме User-Agent, в логах обычно указывается IP-адрес, с которого пришел запрос. Это может быть полезно для более точной идентификации и блокировки нежелательного трафика.
Инструменты для анализа логов:
Обработка больших лог-файлов вручную может быть затруднительна. Для анализа больших объемов данных можно использовать специализированные инструменты, которые помогут отсортировать и проанализировать информацию о User-Agent.
В заключение, вы не можете узнать имя бота, используя только строку User-agent: badbot. Вам необходимо анализировать логи вашего веб-сервера.
Использование плагинов WordPress (для сайтов на WordPress):
Что это: Многие плагины WordPress помогают блокировать нежелательных ботов и защищать сайт от вредоносного ПО.
Примеры: Wordfence, iThemes Security, Sucuri Security. Эти плагины предлагают различные методы блокировки, такие как блокировка по IP-адресу, User-Agent, а также более сложные методы анализа поведения ботов.
Использование сервисов защиты от DDoS:
Что это: Сервисы защиты от DDoS-атак (распределенных отказов в обслуживании) также помогают блокировать нежелательный трафик, включая трафик от ботов.
Важно: Не пытайтесь блокировать всех ботов. Блокировка полезных ботов может отрицательно повлиять на SEO вашего сайта. Внимательно анализируйте логи и используйте целенаправленный подход к блокировке только нежелательных ботов.
