Блокування трафіку рефералів

В даний час я отримую величезну кількість реферального трафіку на мій сайт (спам), який може колись генерувати трафік на день у 1-2 ГБ (що ніколи не вистачає, якщо у вас є обмеження в 10 Гб від компанії, що займає хостинг).

Я щодня бачу 4-5000 звернень, генеруючи 20-25000 переглядів сторінок ... Схоже, що майже щодня мені доводиться додавати нові сайти до мого .htaccess-файлу, щоб запобігти закриттю мого сайту, оскільки я перевищую обмеження в трафіку .

З того, що я бачу в журналах, щоразу, коли я додаю сайт, який потрібно заблокувати, трафік починає надходити з нового сайту протягом декількох годин.

Ось щось із мого .htaccess файлу на даний момент:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://www\.everyoneweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://freefilearchive\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://4runnerforex\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.julznakomua\.strefa\.pl [OR]
RewriteCond %{HTTP_REFERER} ^http://drugbuyersforum\.org [OR]
RewriteCond %{HTTP_REFERER} ^http://protopage\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://stupidvideos\.com [OR]
RewriteCond %{HTTP_REFERER} ^https://sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.thoughts\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.youfreeweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.facebook\.com\\notes\\phentermine [OR]
RewriteCond %{HTTP_REFERER} ^http://theresaraatt\.over-blog\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://grou\.ps [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.reverbnation\.com
RewriteRule (.*) http://%{REMOTE_ADDR}/$ [R=301,L]

order allow,deny
deny from 109.227.125.
deny from 109.227.124.
allow from all

Хтось має уявлення про те, що можна зробити, про весь цей трафік, який приходить на мій шлях?

Ну, ви можете зайти сюди http://aaronlogan.com/downloads/htaccess.php і мати досить великий список блоків спам-рефератів у своєму htaccess. Або ви можете скористатися чимось подібним

# set the spam_ref variable - referrer site or a keyphrase
SetEnvIfNoCase Referer "^http://(www.)?some-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^http://(www.)?other-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^casino-poker" spam_ref=1

# block all referres that have spam_ref set
<FilesMatch "(.*)">
 Order Allow,Deny
 Allow from all
 Deny from env=spam_ref
</FilesMatch>

Або якщо ви використовуєте php.

<?php
$block = array("xxx.xxx.xxx.xxx", "yy.yy.y.yyy");

if (in_array ($_SERVER['REMOTE_ADDR'], $block)) {
  header("Location: http://google.com/");
  exit();
}
?>

У будь-якому випадку вам потрібно буде залишатись над цим і по мірі необхідності оновити. І список може отримати величезний.

Якщо це приклад спаму-реферала , то спосіб його зупинити в довгостроковій перспективі - це переконатися, що ваші файли журналів не індексуються пошуковими системами. Це робить це неціневим вправою для спамера, і, зрештою, вони зроблять бавовняне на цьому і перестануть це робити.

Такі види крадіжки пропускної здатності поширені в Інтернеті. ви можете заборонити всі запити файлів вашого веб-сайту (зображення, відео, ...), крім вашого веб-сайту та його піддоменів та тих доменів, які ви знаєте.

і якщо запити надходять із спеціальних IP-адрес, ви можете заблокувати їх!

інакше, якщо це для всіх ваших веб-сторінок, то ви робите лише вибір!

Розглядаючи подібну проблему, я виявив, що всі запити надходили з невеликою варіацією підроблених або малоймовірних рядків User-Agent.

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; Media Center PC 6.0; InfoPath.2; MS-RTC LM 8)
Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.2 (KHTML, like Gecko) Chrome/4.0.221.7 Safari/532.2
Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 8.50
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Opera/9.64(Windows NT 5.1; U; en) Presto/2.1.1
Mozilla/5.0 (X11; U; Linux i686; it-IT; rv:1.9.0.2) Gecko/2008092313 Ubuntu/9.25 (jaunty) Firefox/3.8
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.14) Gecko/2009082707 Firefox/3.0.14 (.NET CLR 3.5.30729)

Якщо те саме стосується і вашої справи, ви можете заблокувати запити, які надходять із цих підроблених UA.