URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 4762
[ Назад ]

Исходное сообщение
"OpenNews: Методы борьбы со спамом, применяемые в компании .masterhost"

Отправлено opennews , 10-Дек-04 13:56 
Петр Диденко опубликовал доклад "Почтовая система провайдера и спам: риски и практика (http://www.spamtest.ru/document?pubid=19214&context=1)", в котором оцениваются риски и проблемы возникающие у провадера из-за потока спама, в общих чертах описываются решения применяемые в компании .masterhost.

URL: http://www.spamtest.ru/document?pubid=19214&context=1
Новость: http://www.opennet.me/opennews/art.shtml?num=4776


Содержание

Сообщения в этом обсуждении
"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено dawnshade , 10-Дек-04 13:56 
"Многие черные списки работают так, что, попадая в такой список, вы становитесь заложником его владельца. Случается, что вы просто никак не можете быть удалены из него . Бывает, что с вас требуют за это деньги. Это два основных варианта, с которыми мы сталкиваемся. Бывают и более 'мягкие' списки, но в них наши сервера, как правило, не попадают. Это говорит о том, что 'больше всего нужно' именно владельцам хулиганских черных списков. Например, получить прибыль. Этот путь обогащения я с уверенностью называю преступным, хотя во многих случаях законодательством такая деятельность и не определяется как преступная."

угу, а спам это не преступление???


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Аноним , 10-Дек-04 14:10 
Преступление конечно.

Но я например попадал в ситуацию, когда по неосторжности оставлял открытым прокси и через него пошел спам. Проксю я закрыл, но в rbl уже попал. Удалить из него мой единственный IP стоило мне больших трудов.

Если с одним IP такая нервотрепка, то что-же говорить о провайдерах?

Но вообще, конечно если провайдер своей пассивностью поощрает рассылку спама со своих адресов - это проблемы провайдера, что его адреса попадают в rbl. Тут возможны два варианта - либо услугами этого провайдера будут пользоваться лишь спамеры, либо rbl перестанут доверять. В общем, присутствует и та и другая тенденция.


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Аноним , 10-Дек-04 14:10 
Перступление конечно. Как и засовывание сервака в черный список, а потом требование денег, при том что доказательств спам-активности предоставить не могут.

"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Аноним , 10-Дек-04 14:15 
Использование спам-списков производится на добровольной основе. С другой стороны, да, если сервер попадает в список, то проблем много.

"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено TaranTuL , 10-Дек-04 16:46 
Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги на территории России, это тоже преступление. Т.е. только пользователь в праве решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).

"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено al , 10-Дек-04 17:14 
>Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги
>на территории России, это тоже преступление. Т.е. только пользователь в праве
>решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).
>

А в каком законе это прописано? Подскажите, очень интересно.


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено uldus , 10-Дек-04 17:16 
>Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги
>на территории России, это тоже преступление. Т.е. только пользователь в праве
>решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).

Вы во второй раз это пишите, а я во воторой раз заявляю, что это бред.
http://www.opennet.me/openforum/vsluhforumID3/4111.html


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено dawnshade , 10-Дек-04 17:57 
>Вы во второй раз это пишите, а я во воторой раз заявляю, что это бред.
>http://www.opennet.me/openforum/vsluhforumID3/4111.html

Кстати, ты прав...


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено TaranTuL , 12-Дек-04 00:12 
>>Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги
>>на территории России, это тоже преступление. Т.е. только пользователь в праве
>>решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).
>
>Вы во второй раз это пишите, а я во воторой раз заявляю,
>что это бред.
>http://www.opennet.me/openforum/vsluhforumID3/4111.html

Вы видимо не сдавали узел связи ГосСвязьНадзору, да и закон не читали.
Кроме закона есть еще и РД, тоже увлекательно.


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Phil Kulin , 10-Дек-04 20:19 
Бред. Никакой индивидуальной настройки быть не может. Вы все всё время забываете, что на вашу почту и проблемы вашей оплаты трафика откровенно говоря (мне, например) провайдеру плевать. Спасать надо сервера почтовые. Посмотрите что творится - 90% (ДЕВЯНОСТО!!!) соединений - это спам. Почтовые ящики забиваются мгновенно, никаких дисков не напасёшься. А мне, администратору почты, думаете интересно читать миллионы отлупов от несуществующих адресов? Индивидуальные настройки на индивидуальном сервере, на массовых сервисах нужно доверять "своему аптекарю". Ну а у аптекаря должна быть адекватная политика сортировки блокировок на хорошие и плохие.
Привожу пример из жизни - правила дорожного движения созданы для всех. и вы не можете включить или выключить те или иные свойства этих правил вне зависимости от ситуации.

"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папка сомнител"
Отправлено Банзай , 10-Дек-04 20:30 
Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток.
+ папка "сомнительные"

Так что жалобы на спам красноглазые админы и даже огромные провайдеры (в смысле красноглазые тож, несмотря на огромную провайдерность) пусть бабушкам своим на ночь читают.

От счастье прописываться к каждому идиоту в "белый список"!

Ходи голодный! Я таких баранов просто уничтожаю из списка контактов и шабаш.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Tim , 10-Дек-04 21:47 
>Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток.
>+ папка "сомнительные"

Это типа "зачем нам экскаваторы, когда у нас в песочнице совочком неплохо получается" ?
При "девяти девятках" сколько девяток нормальной почты вы теряйте ?

Грейлист жив пока спамерам лень чуть подправить поддержку SMTP в их роботах.
Пока им заморачиваться не стоит, так как доля трафика через сервера с грейлистами далека от сотой доли процента,
ибо не всем наплевать на все неприятные мелочи свойственные грейлистам.

SpamAssassin с его скоростью проверки пригоден для домашнего использования или как кастрированный и переписанный вариант для которого выделен отдельный сервер как в корбине.

Всякие баесы для массовых систем вообще мало пригодны, так как спам понятие
расплывчатое, а они любят ловить всякие прайсы и нормальную коммерческую
переписку манагеров. Вот и остается один Ашманов с командой круглосуточного мониторинга, за что ему спасибо, хоть и дорого жутко получается.

Пока нет единых и признанных "правил дорожного движения" спам не истребим.

>Так что жалобы на спам красноглазые админы и даже огромные провайдеры (в
>смысле красноглазые тож, несмотря на огромную провайдерность) пусть бабушкам своим на
>ночь читают.

Ну да, вы дальше собственного носа не видите, "Я вообще 25 порт зафильтровал, у меня теперь 99.999999999% спама ловится. А откуда, 0.0000000001 берется ? Ну пописываю себе иногда..." :-)


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Sampan , 11-Дек-04 11:26 
>Грейлист жив пока спамерам лень чуть подправить поддержку SMTP в их роботах.

А, если подумать? Для обхода грейлиста однозначно необходима почтовая очередь на отправку. Современный спам на 99 % исходит со взломанных пользовательских компьютеров на широких каналах. Именно против таких рассылок грейлист наиболее эфективен.

Тогда, что должно означать "чуть подправить поддержку SMTP в их роботах"? Установку полноценных МТА с очередью на взломанных компьютерах? И как вы это себе представляете?

>ибо не всем наплевать на все неприятные мелочи свойственные грейлистам.

Можно поподробнее про "неприятные мелочи"

>Пока нет единых и признанных "правил дорожного движения" спам не истребим.

Такие правила есть. Называются они - SMTP протокол. Спам неистребим, пока будет использоваться SMTP. (Низкий поклон авторам!)

IMHO, "лечение" только одно - выкинуть SMTP на помойку.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Maxim Chirkov , 11-Дек-04 20:24 
>А, если подумать? Для обхода грейлиста однозначно необходима почтовая очередь на отправку.
>Современный спам на 99 % исходит со взломанных пользовательских компьютеров на
>широких каналах.

Сейчас трояны спамеров запоминают информацию об неудавшихся попытках рассылки и сообщают соседям для повторения попыток с других адресов. Ничего не мешает им повторить рассылку по этому списку через некоторое время с этой же машины, переделка кода минимальная.

>Можно поподробнее про "неприятные мелочи"

Вы сами их упомянули, не спам системы без очереди сообщений, их не много, но все же иногда встречаются.


"Как как?! 'отдельный сервер как в корбине'?!"
Отправлено Банзай , 11-Дек-04 21:37 
Как как?! "отдельный сервер как в корбине"?!

Отдельный КЛАСТЕР. Большой и толстый. Это раз.

Два. Если у провайдера почта не сидит в отдельном КЛАСТЕРЕ, процов хоть на 16, то нефига в нем иметь почту. Или на Мейл.Ру, или компания должна развертывать корпоративные сервисы.

Далее. Понятие "Провайдер". Мейл.Ру - провайдер. Услуг. А те, кто садовую кишку на капилляры по модемам распускают - не "провайдеры" и обязаны сгинуть. Возможно, вместе с арендованной под "сервер фарм" колхозной радиорубкой.

И четвертое. Грейлист - непробиваем. Потому что спамеры или льют одноразово в темпе 6-10 млн в час и сваливают на другую лейку, или не зарабатывают. Пионер с грейлистом не справится, а кексу, который на спаме зарабатывает, нахер грейлист пробивать. У него другие задачи.

И пятое. Залейте спам в Мейл.Ру. И посчитайте, сколько проходит. Даже в "Сомнительные".

И шестое. Что за страсть трещать не смысля ни уха, ни рыла?!

И седьмое. http://Danga.Com А то вы, похоже, ассоциируете веб-сервисы с ЦРМ под Апач.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Tim , 10-Дек-04 21:52 
И еще, сколько тысяч ящиков на вашем почтовом сервере ?
Только не надо врать, если их хотябы сотня, с вашим подходом, админов как правило быстро увольняют.

"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Phil Kulin , 11-Дек-04 15:07 
Многоуважаемы, Вы невнимательно читали Петра - там чётко написано про отношение конечного клиента к этому вопросу. При всём уважении к эффективности грейлиста - это вообще не вариант на массовом сервисе.

И ещё раз повторю - я говорил не про невозможность ничего сделать, а про невозможность и греховность самой идеи "личных" настроек. Естественно, предложенный вариант неплохо работает, восточный убийца вообще выше всяких похвал, кроме разве что плохой оптимизации кода. Но НИКАКИХ личных настроек. Проблема стоит в связности и вообще работоспособности транспортных служб, а не красивой фишечки т.е. услуги для клиента.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено i am , 11-Дек-04 15:44 
Гонево какое. Вам бы не работать в провайдинговой компании а с совочком в песочнице ползать, вопя "это мой куличик!", "а у меня есть знакомый авторитет Петя!", "а у меня мой Вася твоего Петю...", ...

"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Moralez , 11-Дек-04 17:52 
не совсем понял... Это вы Петра Диденко "петей из песочницы" назвали? :))

"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Phil Kulin , 11-Дек-04 20:39 
Вы услышали то что хотели услышать. Я акцентировал своё внимание на своём мнении, сославшись на то, что автор статьи обрисовал проблемы провайдеров.
Не вижу гонева.

Пробую подойти с другой стороны к своей, может более грубой. Провайдеру в достаточной степени наплевать на личное мнение конечного потребителя услуг на техническую реализацию того или иного сервиса. Провайдеру интересно, чтобы сервис был адекватный, т.е. в данном случае - есть плохие и хорошие письма, через сервер должно доходить много хороших и мало плохих. А вот оси хорошо/плохо сторона техническая. Привожу совершенно утрированный пример - мы фильтруем IP на "хорошие" и "плохие", не правда ли, будет странным, если пользователь будет диктовать хостинг-провайдеру какие IP пакеты считать хорошими, а какие плохими, аргументируя это тем, что он хочет получать ВСЕ пакеты, или наоборот - ни одного. Или тоже не очевидно?


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено borik , 12-Дек-04 19:27 
К сожалению, не очевидно. У меня есть пользователи, которые действительно желают получать ВСЕ пакеты. Простой пример: когда-то была практика прикрывать 135-137 порты для защиты пользовательских компьютеров от взлома у кражи паролей доступа к к диалапу. Эта проблема есть до сих пор. Но закрыть эти порты нельзя, как минимум потому, что некоторым пользователям необходимы именно эти порты, о чем и было пользователями заявлено.

Единственный метод, по которому сейчас у нас отфильтровывается спам - проверка письма на строгое соответствие его требованиям RFC. То бишь, отпавка с MX, наличие пользователя отправителя и так далее. Помогает отфильтровать приблизительно 40% спама без утери гарантировано полезной почты. Тем не менее, я из своего почтового ящика выгребаю 160 писем (классифицированным SA как спам) спама в сутки и 5-7 писем являющихся спамом, но не классифицированным как спам SA.


"RFC"
Отправлено Аноним , 12-Дек-04 23:02 
>Единственный метод, по которому сейчас у нас отфильтровывается спам - проверка письма
>на строгое соответствие его требованиям RFC.

Часто любители блокировать почту с хостов без обратной зоны любят прикрываться "соблюдением" RFC,
в котром, к сожалению, на самом деле не так много "must" :-(

> То бишь, отпавка с MX,

Иными словами, посылайте всех диалапщиков, имеющих ящик у провайдера А, но выходящих в сеть через провайдера B.
У нас таких процентов 30%. Многие проведеры домашних сетей, вообще 25 порт блокируют, кроме как к своему релею, им что прикажите делать ?


"RFC"
Отправлено Anonymous , 13-Дек-04 15:53 
> У нас таких процентов 30%. Многие проведеры домашних сетей, вообще 25 порт блокируют, кроме как к своему релею, им что прикажите делать?

To use ISP's relay.
Either we're fighting spam, or not.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено TaranTuL , 11-Дек-04 23:59 
У меня на системе 20 тыс ящиков с индивидуальной настройкой у каждого (обьем хранимой почты более 100 гигов).

Я не читаю отлупы от несуществующих адресов и т.п. А грэйлисты это то, что было когда то эффективно, но теперь уже не так, спамеры научились пробиваться через них.


"Грейлист+Assassin(+Pyzor+DCC)+Трэпы = девять девяток. + папк..."
Отправлено Eugene , 16-Дек-04 21:11 
>У меня на системе 20 тыс ящиков с индивидуальной настройкой у каждого
>(обьем хранимой почты более 100 гигов).
>
>Я не читаю отлупы от несуществующих адресов и т.п. А грэйлисты это
>то, что было когда то эффективно, но теперь уже не так,
>спамеры научились пробиваться через них.

И как они простите пробиваются? :)


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Tim , 10-Дек-04 21:28 
>Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги
>на территории России, это тоже преступление. Т.е. только пользователь в праве
>решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).

Тогда давайте закроем mail.ru. Или подадим в суд на провайдера, который не смог
сохранить 1 Гб в ящике клиента и новая почта туда не попала. Или на провайдера,
чей SMTP не дал пользователю отправить фильм другу, из-за ограничений на размер письма.

Провайдер не должен трогать только транзитный трафик клиента.
Кругом полно более серьезный нарушений, чем фильтрация спама, пользователей заворачивают
в всевозможные прокси, блокируют NAT, закрывают порты.

Сервисы провайдер может создавать какие захочет и как захочет, может поднять SMTP, создать IRC или NNTP,
а может вообще ничего не поднимать, включая почту. Если сервис явно продается, а не предлагается в качестве бесплатного приложения,
можно перестраховаться и в договре все ограничения описать.


"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено TaranTuL , 12-Дек-04 00:16 
>>Не забывайте что использование черного списка на уровне сервера, предоставляющего телематические услуги
>>на территории России, это тоже преступление. Т.е. только пользователь в праве
>>решить использовать черный список или нет (т.е. должна быть индивидуальная настройка.).
>
>Тогда давайте закроем mail.ru. Или подадим в суд на провайдера, который не
>смог
>сохранить 1 Гб в ящике клиента и новая почта туда не попала.
>Или на провайдера,
>чей SMTP не дал пользователю отправить фильм другу, из-за ограничений на размер
>письма.
>
>Провайдер не должен трогать только транзитный трафик клиента.
>Кругом полно более серьезный нарушений, чем фильтрация спама, пользователей заворачивают
>в всевозможные прокси, блокируют NAT, закрывают порты.
>
>Сервисы провайдер может создавать какие захочет и как захочет, может поднять SMTP,
>создать IRC или NNTP,
>а может вообще ничего не поднимать, включая почту. Если сервис явно продается,
>а не предлагается в качестве бесплатного приложения,
> можно перестраховаться и в договре все ограничения описать.

Посоветуйтесь с хорошим юристом.


"mail.ru - на мейл ру нет 'листов'. Есть грейлист."
Отправлено Банзай , 13-Дек-04 01:18 
-

"mail.ru - на мейл ру нет 'листов'. Есть грейлист."
Отправлено Eugene , 16-Дек-04 21:15 
да ну??
есть листы на IP. сталкивались...
Грейлист у них? Ню-ню. А вот то, что почта оттуда опаздывает на 2-5 часов на другой сервер с грейлистом это точно :)
в смысле задержек писем они действительно №1

"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Jorj_K , 16-Дек-04 15:25 
Все очень просто - ставьте spamassassin+pyzor+razor+DCC, а всякие грей-блек листы только путают - надо понимать что спам как таковой в большинстве случаев могут определить сами пользователи - поэтому объединенныне базы сигнатур - построенные по принципу - если неск разных пользователей отметят спам как спам - то он таковым и является и заносится в базу - поэтому при правильной подстройе конфига спамассассина может гарантированно обеспечить ловлю спама на 100 процентов без единой ошибки. В отношении самообучения - это очень тоже действенно - делаете редирект своих заброшенных и несуществующих е-мейлов на sa-learn --spam и редирект почты что идет от вас на sa-learn --ham - это полностью решит проблему спама
потом напишу подробнее, хотя и так понятно что больше и придумывать нечего.
http://Kiev1.org

"Методы борьбы со спамом, применяемые в компании .masterhost"
Отправлено Аноним , 12-Июн-06 23:44 
ну эдак конечно так но и грейлист свое дело помогает делать - снимает нагрузку с спамассассина  и антивируса - и очень даже ничего!