URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 74926
[ Назад ]

Исходное сообщение
"Резко упала эффективность spamassassin"

Отправлено Jekas , 29-Июн-07 07:26 
До этого момента процентов отлова спама был около 80..тоесть процентов 20 проскакивало. Регулярно проводил обучение, но эффективность не поднималась. Впринципе такая работа устраивала всех и ни кто не жаловался. Но однажды скопом начали раздаваться звонки от недовольных пользователей по поводу спама. Если раньше в день он ложил в карантин 1500-1900 спамовых писем, то сейчас около 600. Удалил базу, обучил заново стало лучше - где-то 1200-1500, но прежйней эффективности все равно нет. Что делать хз...Стоит FreeBSD amavisd spamassassin ну и clamav , скажу честно настраивал это года 2 назад, и кроме обновления версии clamav и обучения асассина ни чего не делал, поэтому в настройках амависа и асасина особо не волоку...может есть какое то базовое решение, наверняка моя проблема распространенная.

Содержание

Сообщения в этом обсуждении
"Резко упала эффективность spamassassin"
Отправлено mb78 , 29-Июн-07 07:50 

Для защиты корпор. почты - более 500 почт ящиков либо заниматься целый день настройкой спамассассина - либо получать спам и просматривать карантин.
Пользовал его более 3 лет.
Для сравнения в карантине было по 20000-30000 писем + грохал почти столько же.
А в тему обучения  - при большом кол-ве почт. адресов - байес под всех не подстроишь - рано или поздно начнуться косяки. и все заново...
Не хочется рекламы  - но с недавних пор жалко стало своего времени и купили продукт отчечественного разработчика. Более чем доволен.


"Резко упала эффективность spamassassin"
Отправлено Jekas , 29-Июн-07 11:07 
>
>Для защиты корпор. почты - более 500 почт ящиков либо заниматься целый
>день настройкой спамассассина - либо получать спам и просматривать карантин.
>Пользовал его более 3 лет.
>Для сравнения в карантине было по 20000-30000 писем + грохал почти столько
>же.
>А в тему обучения  - при большом кол-ве почт. адресов -
>байес под всех не подстроишь - рано или поздно начнуться косяки.
>и все заново...
>Не хочется рекламы  - но с недавних пор жалко стало своего
>времени и купили продукт отчечественного разработчика. Боле чем доволен.
что за продукт если не секрет? И с какими MTA и ОС работает?



"Резко упала эффективность spamassassin"
Отправлено mb78 , 29-Июн-07 12:06 
Не секрет - спамоборона   :)
в яндексе ключ слово набери :) чтоб ссылки здесь не постить
почитай.
у меня с qmail-ldap - заработал через 10 мин после загрузки демо версии :)
После тестов купили - и не жалеем.
Нет в штате лингвистов чтоб со спамом разбираться :)



"Резко упала эффективность spamassassin"
Отправлено DustpaN , 29-Июн-07 12:24 
Вообще обновить amavisd spamassassin не помешало бы, там маного все изменилось то за 2-а то года :)

"Резко упала эффективность spamassassin"
Отправлено Белоиванов Денис , 29-Июн-07 12:40 
>Не секрет - спамоборона   :)
>в яндексе ключ слово набери :) чтоб ссылки здесь не постить
>почитай.
>у меня с qmail-ldap - заработал через 10 мин после загрузки демо
>версии :)
>После тестов купили - и не жалеем.
>Нет в штате лингвистов чтоб со спамом разбираться :)


Такая же ситуация около  600 ящиков работает Спамоборона и все как рукой сняло!
До этого  так же  был  резкий спад  эффективности Spamassasin.
Стоит недорого и  эффект  хороший.  Единственный минус это отсутствие модулей для сортировки писем  по присвоиному балу. procmail помогает только при направлении всех писем в LDA
а при dlvr приходится юзерам  самим строить правила в клиенте.


"Резко упала эффективность spamassassin"
Отправлено mb78 , 29-Июн-07 13:01 
>Такая же ситуация около  600 ящиков работает Спамоборона и все как
>рукой сняло!
>До этого  так же  был  резкий спад  эффективности
>Spamassasin.
>Стоит недорого и  эффект  хороший.  Единственный минус это отсутствие
>модулей для сортировки писем  по присвоиному балу. procmail помогает только
>при направлении всех писем в LDA
>а при dlvr приходится юзерам  самим строить правила в клиенте.
Вообще этим не занимаюсь  - ложных срабатываний единицы в неделю - а спам - по заголовку X-Spam-Flag  - в папку .Spam ( Maildrop'ом)
+ свои правила можно писать  - жаль подр. документацию не предоставляют - но там элементарно все.



"Резко упала эффективность spamassassin"
Отправлено Белоиванов Денис , 29-Июн-07 13:55 
>>Такая же ситуация около  600 ящиков работает Спамоборона и все как
>>рукой сняло!
>>До этого  так же  был  резкий спад  эффективности
>>Spamassasin.
>>Стоит недорого и  эффект  хороший.  Единственный минус это отсутствие
>>модулей для сортировки писем  по присвоиному балу. procmail помогает только
>>при направлении всех писем в LDA
>>а при dlvr приходится юзерам  самим строить правила в клиенте.
>Вообще этим не занимаюсь  - ложных срабатываний единицы в неделю -
>а спам - по заголовку X-Spam-Flag  - в папку .Spam
>( Maildrop'ом)
>+ свои правила можно писать  - жаль подр. документацию не предоставляют
>- но там элементарно все.

Это  конечно хорошо  что  ложных срабатыванний немного (хотя все зависит  от  интенсивности  почтового трафика) но проблема как раз в том  что если  письмо после обработки  SO отдается
LDA то тут его могут перехватывать различные  сортировщики (procmail, maildrop....) но если оно ставится в очередь то сортировщик его перехватить неможет....со всеми  вытекающими


"По поводу Спамообороны"
Отправлено Medlar , 29-Июн-07 14:09 
А вы какой режим используете: удаленный или локальный?

У меня при удаленном режиме доступа к базам в пиковые часы последние 2 месяца СО
отваливается с сообщением "Please try again later"
Не наблюдали такое?

Лицензия на 400 ящиков, пришлось пока сократить кол-во проверяемых адресов наполовину.


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 14:19 
>А вы какой режим используете: удаленный или локальный?
>
>У меня при удаленном режиме доступа к базам в пиковые часы последние
>2 месяца СО
>отваливается с сообщением "Please try again later"
>Не наблюдали такое?
>
>Лицензия на 400 ящиков, пришлось пока сократить кол-во проверяемых адресов наполовину.

Режим - удаленный.
Пока проверяется около 1500 ящиков  - проблем нет.


"По поводу Спамообороны"
Отправлено Medlar , 29-Июн-07 15:03 
>Пока проверяется около 1500 ящиков  - проблем нет.
Везет же людям ...
А мой почтовый домен, видимо, попал в список рассылок последнего спам-червя, в итоге последние месяцы в рабочие часы вал спама, а СО регулярно выпадает в аут ...

Тогда еще пара вопросов:
1)Вы укладываетесь в ограничение на кол-во напроверяемых сетей (10)?
2)Не обращали внимания, последнее время спамеры добавляют точку после домена,
например user@mydomain.ru., а в mailboxes прописан нормальный адрес
user@mydomain.ru, в итоге СО игнорирует письмо для этого пользователя, потому что для нее домен другой. Получается, нужно блокировать такую почту еще до поступления ее к СО.


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 15:08 
>Тогда еще пара вопросов:
>1)Вы укладываетесь в ограничение на кол-во напроверяемых сетей (10)?
С этим проще  - внутри проблем нет  - поэтому все сети с маской /16 прописаны.
Соответственно этого хватает
>2)Не обращали внимания, последнее время спамеры добавляют точку после домена,
>например user@mydomain.ru., а в mailboxes прописан нормальный адрес
>user@mydomain.ru, в итоге СО игнорирует письмо для этого пользователя, потому что для
>нее домен другой. Получается, нужно блокировать такую почту еще до поступления
>ее к СО.
Нет это новость для меня, посмотрю. Как до СО блокировать пока в голову не пришло  - а после можно наверно Maildrop'ом что то с ней делать.



"По поводу Спамообороны"
Отправлено Белоиванов Денис , 29-Июн-07 15:14 
>>Пока проверяется около 1500 ящиков  - проблем нет.
>Везет же людям ...
>А мой почтовый домен, видимо, попал в список рассылок последнего спам-червя, в
>итоге последние месяцы в рабочие часы вал спама, а СО регулярно
>выпадает в аут ...
>
>Тогда еще пара вопросов:
>1)Вы укладываетесь в ограничение на кол-во напроверяемых сетей (10)?
>2)Не обращали внимания, последнее время спамеры добавляют точку после домена,
>например user@mydomain.ru., а в mailboxes прописан нормальный адрес
>user@mydomain.ru, в итоге СО игнорирует письмо для этого пользователя, потому что для
>нее домен другой. Получается, нужно блокировать такую почту еще до поступления
>ее к СО.

А сколько писем проходит через СО в сутки, в среднем?


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 15:29 
>А сколько писем проходит через СО в сутки, в среднем?
10-40 тыс. в сутки если по прошл. неделе судить.


"По поводу Спамообороны"
Отправлено Белоиванов Денис , 29-Июн-07 15:31 
>>А сколько писем проходит через СО в сутки, в среднем?
>10-40 тыс. в сутки если по прошл. неделе судить.

Это действительно многовато. У меня около 5-9 в сутки в среднем (600 ящиков).

А сколько уходит времени на обработку одного письма?


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 15:35 

>А сколько уходит времени на обработку одного письма?
(spamstop time) took 0.103362 sec, 0.020000 CPU sec


"По поводу Спамообороны"
Отправлено Белоиванов Денис , 29-Июн-07 15:52 
>
>>А сколько уходит времени на обработку одного письма?
>(spamstop time) took 0.103362 sec, 0.020000 CPU sec


(spamstop time) took 0.044723 sec, 0.023438 CPU sec.

Это мои данные.

В вашем  случае возможно имеет смысл перейти  на локальное хранение баз.


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 16:00 
>(spamstop time) took 0.044723 sec, 0.023438 CPU sec.
>
>Это мои данные.
>
>В вашем  случае возможно имеет смысл перейти  на локальное хранение
>баз.
Имеет. некогда :(
как поставил СО хоть забыл тему просматривать карантин и контролировать обучение ассасина. А по времени обработки скорость увеличилась более чем в 10 раз.
До этого пользовал Spamassassin ( всегда current )  + clamav в связке c  Qmail-Scanner-2.01st (st patch)  (http://toribio.apollinare.org/qmail-scanner/ )
Сейчас соответственно СО + DrWeb ( antivirus)


"По поводу Спамообороны"
Отправлено Medlar , 29-Июн-07 16:08 
Ребят, раз у вас проблем нет, то очень интересны характеристики компов, на которых почтовики крутятся?

>>Тогда еще пара вопросов:
>>1)Вы укладываетесь в ограничение на кол-во напроверяемых сетей (10)?
>С этим проще  - внутри проблем нет  - поэтому все сети с маской /16 прописаны.
>Соответственно этого хватает

Мне бы тоже хватило моих 7 сетей, но надо же как-то обойти 2 дополнительных mx-a,
на них СО нет, вот и получается превышение лимита в 10 сетей.
Коме того (но может мне показалось) если указать
1.2.3.0 255.255.254.0
то СО все равно посчитает это как 2 сетки

>>2)Не обращали внимания, последнее время спамеры добавляют точку после домена,
>>например user@mydomain.ru., а в mailboxes прописан нормальный адрес
>>user@mydomain.ru, в итоге СО игнорирует письмо для этого пользователя, потому что для
>>нее домен другой. Получается, нужно блокировать такую почту еще до поступления
>>ее к СО.
>Нет это новость для меня, посмотрю. Как до СО блокировать пока в голову не пришло  - а >после можно наверно Maildrop'ом что то с ней делать.
Ну с sendmail-ом это можно просто сделать ...

По сравнению с вашими данными по обработке письма, у меня в пиковый период эти значения вообще запредельные, до 2000-3000ms. Уже и на более мощный комп почтовый винт перенесли.
В день приходит 5-10 т. писем в зависимости от дня недели, но на этапе smtp-диалога отбивается 20-30 тысяч соединений.

Сейчас пытаюсь перейти на локальный режим.


"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 16:18 
>По сравнению с вашими данными по обработке письма, у меня в пиковый
>период эти значения вообще запредельные, до 2000-3000ms. Уже и на более
>мощный комп почтовый винт перенесли.
>В день приходит 5-10 т. писем в зависимости от дня недели, но
>на этапе smtp-диалога отбивается 20-30 тысяч соединений.
>
>Сейчас пытаюсь перейти на локальный режим.

Перед СО все равно стоят RBL+RETURNMXCHECK +SENDERCHECK,RCPTCHECK и тоже до фига отбивает.
система SLES 9 SP3
MTA:qmail-ldap
IMAP:courier-imap

ibm x336 Intel(R) Xeon(TM) 2xCPU 3.00GHz, 2GB RAM 2X36 scsi
maildir на storage DS4300 ( 8X146GB 10000 об.в RAID10)


"По поводу Спамообороны"
Отправлено Белоиванов Денис , 29-Июн-07 16:37 
>Ребят, раз у вас проблем нет, то очень интересны характеристики компов, на
>которых почтовики крутятся?
>

У меня p4 2.4 и толи 1 гиг толи 2 оперативы

>>>Тогда еще пара вопросов:
>>>1)Вы укладываетесь в ограничение на кол-во напроверяемых сетей (10)?
>>С этим проще  - внутри проблем нет  - поэтому все сети с маской /16 прописаны.
>>Соответственно этого хватает

Эту фичу неиспользую совсем (тоесть в доверенных у меня только один адрес и  он не провайдерский) в свое время просил прокоментировать   эту фичу суппорт СО, ничего вразумительного  они мне не сказали, кроме того что это  якобы улучшает вероятность определения спама. Но в чудеса я неверю и в доверенные  писать ничего нестал. О чем  несколько не жалею.

>
>Мне бы тоже хватило моих 7 сетей, но надо же как-то обойти
>2 дополнительных mx-a,
>на них СО нет, вот и получается превышение лимита в 10 сетей.
>
>Коме того (но может мне показалось) если указать
>1.2.3.0 255.255.254.0
>то СО все равно посчитает это как 2 сетки
>
>>>2)Не обращали внимания, последнее время спамеры добавляют точку после домена,
>>>например user@mydomain.ru., а в mailboxes прописан нормальный адрес
>>>user@mydomain.ru, в итоге СО игнорирует письмо для этого пользователя, потому что для
>>>нее домен другой. Получается, нужно блокировать такую почту еще до поступления
>>>ее к СО.
>>Нет это новость для меня, посмотрю. Как до СО блокировать пока в голову не пришло  - а >после можно наверно Maildrop'ом что то с ней делать.
>Ну с sendmail-ом это можно просто сделать ...
>
С таким способом спамерства пока не сталкивался.

>По сравнению с вашими данными по обработке письма, у меня в пиковый
>период эти значения вообще запредельные, до 2000-3000ms. Уже и на более
>мощный комп почтовый винт перенесли.
>В день приходит 5-10 т. писем в зависимости от дня недели, но
>на этапе smtp-диалога отбивается 20-30 тысяч соединений.
>
Это 100% какой то косяк в настройке СО или Sendmail.

>Сейчас пытаюсь перейти на локальный режим.



"По поводу Спамообороны"
Отправлено mb78 , 29-Июн-07 16:46 

>Это 100% какой то косяк в настройке СО или Sendmail.
>
>>Сейчас пытаюсь перейти на локальный режим.


Это 100% какой то косяк в настройке СО  - обратитесь в тех. поддержку. Было похожее на версии 1.6 - менял количество тредов.. время обработки уменьшалось а после перехода на 1.7 проблемы исчезли.


"По поводу Спамообороны"
Отправлено Medlar , 29-Июн-07 17:06 
>Это 100% какой то косяк в настройке СО  - обратитесь в
>тех. поддержку. Было похожее на версии 1.6 - менял количество тредов..
>время обработки уменьшалось а после перехода на 1.7 проблемы исчезли.

Я уже обращалась.
Говорят, что у меня проблема с доступом к серверам шинглов и dnsbl.

Количество тредов уже увеличено.
В доке говорится, что если время отклика большое, то нужно перенастроиться на локальный режим, чем и занимаюсь сейчас. Ну и еще попробую новую версию поставить, вдруг поможет.

Спасибо за ваши конфигурации, отправила шефу - пусть думает.