The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Вышел SpamAssassin 3.1.0. Обзор новшеств.

15.09.2005 17:05

Анонсирован выход новой версии одной из лучших систем для фильтрации спама - SpamAssassin 3.1.0.

Из новшеств можно отметить:

  • Использования "preforking" метода обслуживание соединений, с адаптивным изменением числа рабочих процессов, такой же как применяется в Apache;
  • Баесовская база теперь может хранится в PostgreSQL, MySQL 4.1+, и локальном SDBM хранилище;
  • Учет параметров SMTP AUTH для предотвращения ложных срабатываний;
  • Новые плагины: DomainKeys, MIMEHeader (проверка заголовков внутри mime структур), ReplaceTags (неточное выделение блоков текста), WhiteListSubject (белый список по содержимому темы).
  • Проверки через Razor2 и DCC теперь выключены по умолчанию;
  • Обход ошибки в perl модуле Net::DNS, проявляющейся при высокой нагрузке;
  • Увеличение эффективности DNSBL и прочих DNS проверок;
  • Скрипт sa-update для апдейта базы правил при обновлении релиза;
  • Новые правила для определения факторов спама;
  • Подсистемы AccessDB, AWL, Pyzor, Razor2, DCC, Bayes AutoLearn Determination вынесены в плагины;

    1. Главная ссылка к новости (http://mail-archives.apache.or...)
    Лицензия: CC BY 3.0
    Короткая ссылка: https://opennet.ru/6093-spam
    Ключевые слова: spam, mail
    При перепечатке указание ссылки на opennet.ru обязательно


    Обсуждение (38) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, LuckyBird (??), 17:29, 15/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А кто-нибудь пытался его сравнить с dspam ?
     
     
  • 2.3, anonimous (?), 17:56, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    угу, dspam отфильтровывает значительно больше
     

  • 1.2, Chris (??), 17:31, 15/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А как dspam с Exim?
     
     
  • 2.4, anonimous (?), 17:58, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    dspam с exim вот так - http://tula.bofh.ru/articles/115
     

  • 1.5, Tester (??), 19:28, 15/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а что так не устраивает greylist? самый лучший можно сказать антиспамерная программа
     
     
  • 2.6, Банзай (??), 22:02, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    попробуй.

    1. Задержка от 120 до 238 минут на письмо неприемлема.

    2. Эта задержка будет всегда.

    3. Потому что.

     
  • 2.8, dawnshade (?), 22:43, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >а что так не устраивает greylist? самый лучший можно сказать антиспамерная программа

    убивать надо таких с грейлистингом.
    какого х я должен загружать очередь гейтвея из-за идиотов ответивших первый раз 4ХХ.
    а если второй раз будет реальный разрыв коннекта - тоже 4ХХ, то письмо дойдет позже чем через час?

     
     
  • 3.9, Банзай (??), 23:07, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Все мало-мальски приличные конфигурации имеют fallback-сервер (в другой подсети, что естественно)

    То есть.

    1. Из "mxXXX.mail.ru" грейлист принимает письмо и посылает его в х...

    2. Через час письмо тебе начинает добивать НЕ "mxXXX.mail.ru", а "fallbackXXX.mail.ru"!

    3. Это удобно в том смысле, что если один MX влетел на какое-то время в RBL, то цепочка fallback-серверов из разных подсетей, скорее всего, доставит его адресату.

    4. В случае же грейлиста этот общепринятый подход дает полного поца - за два часа последний в цепочке fallback-серверов пробьет присьмо через грейлист, зато сервер-инициатор и все промежуточные fallback-серверы, сделавшие по одной попытке, занесутся в список козлищ. Со всеми вытекающими.

    5. Например, с уничтожением в дальнейшем писем от них без уведомления кого бы то ни было.

    6. В этом смысле безопаснее "липучка для мух" - сервер, который просто шлет в жопу, ожидая добивки в течение икса колов времени и не собирая данных для принятия дальнейших мер.

    7. Но задержка все равно будет страшная. Но хоть писем не потеряет.

     
     
  • 4.11, uldus (ok), 23:19, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Все мало-мальски приличные конфигурации имеют fallback-сервер (в другой подсети, что естественно)

    Месяца два назад убрали у себя все запасные MX :-( Жить стало невозможно из-за спамерских роботов, перебирающих email по словорю. Видимо с затрояненных машин перебирают, так как запросы сыплются одновременно с сотен разных IP. Все это с того MX ломится на первичник.... короче засада, почта в такие моменты можно сказать не ходит. Не верю, что это только у меня. Уже в третьей сети приходится от запасных MX избавляться.

    Представляю что будет твориться, при таком переборе, у любителей серых списков, рост базы будет напоминать цунами.

     
     
  • 5.12, Банзай (??), 23:25, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    А где проблема? В чём?
     
     
  • 6.13, uldus (ok), 23:29, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >А где проблема? В чём?

    В спуле сотня тысяч писем, bounce ответы не успевают отправлсяться, истекает лимит одновременных коннектов, почта уходит на следующий день.

    Когда первичник перебирают, он тут, не закрывая сессии, же посылает, так как адрес не существует. А когда перебирают через запасной MX он все принимает и пытается отправить на первичник. Первичник, смотрит что юзера нет и отправляет bounce письмо.

     
     
  • 7.14, Банзай (??), 23:34, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Fallback-сервер ТОЛЬКО ДОБИВАЕТ письмо, отвергнутое при попытке доставить первичным MX.

    Первичный пусть один и будет.

     
     
  • 8.15, dawnshade (?), 23:51, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    собственно о чем и речь такой вариант тоже имеет место быть а есть еще вариант... текст свёрнут, показать
     
     
  • 9.18, Abu (?), 07:18, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Интересно про greylist, буду думать - стоит он у меня, не жалуюсь, но - как-... текст свёрнут, показать
     
     
  • 10.22, Банзай (??), 11:49, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Оцени задержку, почитай логи Если 2-4 часа задержки почты для тебя не проблема ... текст свёрнут, показать
     
     
  • 11.30, abu (?), 16:27, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    То есть - от крупных мэйловых контор может получиться такой круговорот с письмам... текст свёрнут, показать
     
     
  • 12.35, Abu (?), 07:30, 19/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    попробовал послал сам себе с mail ru - через 15 секунд пришло письмо с fallback... текст свёрнут, показать
     
  • 5.27, Константин (??), 14:17, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Заведи базу с валидными email  на вторичнике и проверяй наличие email в базе при rcptto.
     
     
  • 6.33, Wulf (?), 01:43, 17/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Вот-вот. именно так. Например, в postfix такая штука называется relay_recipient_maps - при правильно настроенной синхронизации между фронт- и бэк- эндами, основную массу "неправильных" писем можно отсеить еще на хэндшейке фронт-энда, причем с нормальным кодом 550, не предрасполагающем к повторной отправке письма к бэкапному MX-у
     
  • 4.17, Глобалист (?), 07:12, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >1. Из "mxXXX.mail.ru" грейлист принимает письмо и посылает его в х...
    >
    >2. Через час письмо тебе начинает добивать НЕ "mxXXX.mail.ru", а "fallbackXXX.mail.ru"!
    >

    Для mail.ru и подобных существует whitelist.

    >3. Это удобно в том смысле, что если один MX влетел на
    >какое-то время в RBL, то цепочка fallback-серверов из разных подсетей, скорее
    >всего, доставит его адресату.

    Спамерская технология, между прочим.

    >4. В случае же грейлиста этот общепринятый подход дает полного поца -
    >за два часа последний в цепочке fallback-серверов пробьет присьмо через грейлист,
    >зато сервер-инициатор и все промежуточные fallback-серверы, сделавшие по одной попытке, занесутся
    >в список козлищ. Со всеми вытекающими.

    Кто тебе такое сказал?
    Система грейлистинга просто "забудет" про промежуточные фалл-бэк серверы.

    >5. Например, с уничтожением в дальнейшем писем от них без уведомления кого
    >бы то ни было.

    Кто тебе такое сказал?
    Может быть отдельные пионеры так и делают. Но кто ж им доктор?

    Вообще говоря, тем, кто пользуется грейлистингом должно быть невыгодно, чтобы остальные им пользовались. Если все перейдут на грей-листинг, спаммеры быстро найдут способ бороться с ним.
    Так что greylist - кака не пользуйте его! ;-)

     
     
  • 5.32, Банзай (??), 17:28, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Совершенно наоборот. Провайдерская.

    Если один из клиентов нагадил и MX влетел на сутки-трое в RBL, то fallback'и позволяет остальным, невиновным клиентам провайдера продолжать пользоваться почтой.

     
  • 3.21, Alter (?), 10:20, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >убивать надо таких с грейлистингом.

    Неплохо бы думать, прежде чем такие высказывания делать.

    Greylisting на 30 сек (!) снижает уровень спама с 75-80% на 18-23%, проверено неоднократно на http://www.antispam-post.ru/ Спамерам сейчас надо за 1-2 часа разослать под 1-2 миллиона писем, пока их не занесли в разные базы сигнатур.

    >какого х я должен загружать очередь гейтвея из-за идиотов ответивших первый раз 4ХХ.

    Это отдельная песня - у нормальных людей во первых прописан whitelist, а во вторых делается автоматический whitelisting при определенном пороге пересылки с домена, да и fallback неплохо иметь уж если так печетесь об очередях.

     
  • 3.28, anonymous (??), 14:19, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >убивать надо таких с грейлистингом
    Еще недавно думал также, а теперь сам использую.
    Грейлистятся ни все без разбору, а только те, кто выглядит подозрительно с моей точки зрения. Например, это могут быть "не мои соотечественники + без RDNS | имя хоста, которое мне не приглянулось". Самыми разными могут быть критерии. В общем, *грейлистим не всех, кроме хороших, а никого, за исключением плохих*
     

  • 1.7, Av (??), 22:25, 15/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    1) сделай хоть минуту, сделай хоть от кол-ва повторов
    2) задержка будет только первый раз для уникальной пары либо тройки
    3) понятно :)
     
     
  • 2.10, Банзай (??), 23:08, 15/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >1) сделай хоть минуту, сделай хоть от кол-ва повторов
    >2) задержка будет только первый раз для уникальной пары либо тройки
    >3) понятно :)

    Задержка будет вечной. Читайте дядюшку Банзая.

     
     
  • 3.19, Stanislav (??), 07:38, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Хм... Никогда еще такого не было.
    Первое письмо - таки да, вплоть до 4 часов.
    Остальные - сразу.
    Думаю, вы просто не умеете его готовить.
     

  • 1.16, KdF (??), 01:52, 16/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Товарищи, а как dspam использовать c exim на шлюзе, а не на почтовом сервере для локальных доменов?
    Он же не может нормально отдавать Exim-у письмо обратно, или сигнализировать как spamassassin? Или может? Он может слать его дальше сам, но это же криво, я хочу, чтобы отсылал exim.
    Отдавать буду по LMTP, а результат как получать?
     
     
  • 2.20, ra (??), 09:18, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Товарищи, а как dspam использовать c exim на шлюзе, а не на
    >почтовом сервере для локальных доменов?
    >Он же не может нормально отдавать Exim-у письмо обратно, или сигнализировать как
    >spamassassin? Или может? Он может слать его дальше сам, но это
    >же криво, я хочу, чтобы отсылал exim.
    >Отдавать буду по LMTP, а результат как получать?


    Пользую greylisting 2 года, основная забота при установке этой прибамбасины - настроить адреса с которыми идет интенсивная переписка (а таковых немного, вбить 50 доменов - 10 минут работы). Ну и задержка письма при первом получении. Но я могу эту задержку изменять как мне надо. Тут кто-то что-то сказал про 4 часа? Ни разу такого не было, первая приемка завершается за 1.5 часа максимум. Затем никаких задержек не бывает. И юзверей своих приучил - хотите мгновенно получать почту, говорите от кого. Так что лично меня greylisting полностью устраивает.

     
     
  • 3.23, Сергей (??), 12:17, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Пользую greylisting 2 года, основная забота при установке этой прибамбасины - настроить
    >адреса с которыми идет интенсивная переписка (а таковых немного, вбить 50
    >доменов - 10 минут работы). Ну и задержка письма при первом
    >получении. Но я могу эту задержку изменять как мне надо. Тут
    >кто-то что-то сказал про 4 часа? Ни разу такого не было,
    >первая приемка завершается за 1.5 часа максимум. Затем никаких задержек не
    >бывает. И юзверей своих приучил - хотите мгновенно получать почту, говорите
    >от кого. Так что лично меня greylisting полностью устраивает.

    и сколько у тебя пользователей ?
    при моих 600+ у меня даже мысли не возникает "хотите мгновенно получать почту, говорите от кого" - в этом случае надо девочку брать на полный рабочий день.

     
  • 3.24, den (??), 12:19, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    эт если у тебя юзеров ~ 100, а если 10000 то я бы посмотрел как ты методично вбиваешь домены
     
  • 3.31, Банзай (??), 17:25, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    задача часто обратная - не прощелкать важное письмо. Ведь оно может оказаться денежным :) (клиент в Гватемале проклюнется! Или в Казани)

    То есть принимать все, за исключением 50 особо поганых источников.

    С которыми интенсивная - можно и созвониться для уточнения. А как быть с письмами, котрых ждешь, но не ведаешь откуда?

     
  • 2.34, anonimous (?), 03:46, 17/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Товарищи, а как dspam использовать c exim на шлюзе, а не на
    >почтовом сервере для локальных доменов?
    >Он же не может нормально отдавать Exim-у письмо обратно, или сигнализировать как
    >spamassassin? Или может? Он может слать его дальше сам, но это
    >же криво, я хочу, чтобы отсылал exim.
    >Отдавать буду по LMTP, а результат как получать?

    может, выше ссылка на статью

     

  • 1.25, tester (??), 12:31, 16/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    зато Greylist трафика не создает, а спамассасин на сколько нам помниться работает с полными письмами.. посмотрим если у тя траф лимитированный как ты запоешь
     
  • 1.26, lazyBSD (?), 13:29, 16/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Позволю и я себе высказаться...
    пользователей >400
    стоит связка примерно такая:
    1. tcpserver -> на этапе коннекта - RBL
    2. qmail-spamcontrol (rcptto,helo...)
    3. simscan (clamav, spamassassin - опционально)
    ну, и кому этого не достаточно -
    4. tmda
    Так вот, tmda, IMHO, более правильная альтернатива greylist'у. Задержка - время реакции отправляющей стороны. Ничего не нужно вбивать. Единственное но - пользователь должен быть с головой.

    Скажу сразу, tmda пользуются <1%, но те, кто пользуются _вообще_ не видят спам.

    А вот новость о выходе нового SA - гуд. ;)

     
     
  • 2.29, toor99 (ok), 15:07, 16/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    > Скажу сразу, tmda пользуются <1%, но те, кто пользуются _вообще_ не видят спам.

    Охотно верю. Но, как вы сами отмечаете:

    > Единственное но - пользователь должен быть с головой.

    С этим у подавляющего большинства серьёзные проблемы.
    Вы можете представить себе CEO большой компании, который станет играть в challenge/response с вашей TMDA ?  Я вот как-то не могу. А значит, TMDA - не более, чем игрушка для компьютерных фриков и гиков. Защищающая от спама, спору нет, но совершенно неприемлемой ценой.

     

  • 1.36, Угпуту (?), 14:26, 22/09/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Недавно поставил Spamassassin версии 3.10 и хочу предостеречь народ от торопливой установки сего продукта на своих серверах. До этого был 3.01. После доводки его (ранее был 2.63) жалоб в процессе эксплуатации больше не было. А с 3.10 чувствую придется  помучиться, либо вернуться на 3.01.
    Началось с того, что почему-то сильно поменялись (и далеко в нелучшую сторону) коэффициенты. Вдруг bayes_99 упал до 3.5, а русские буквы в заголовках from и  subj вдруг стали весить более 4 баллов. Ужас! Стал проходить спам и отсеиваться почта от роботов и рассылок. Ведь роботы пишут наши криворукие программеры, которые не читают RFC. Видимо, это может полечиться ручной правкой баллов local.cf. Но что печальнее, появились непонятки в работе журналирования и стал глючить sa-learn.
    Хотя начинает появляться мысль, а нафиг он нужен? Spamassassin, то есть. Он сейчас отлавливает у меня всего то 3-5 писем в день. Да и то раз в неделю неправильно отсеивает "правильную" (вернее нужную, но корявую) почту с рассылок с работных сайтов. Кадровики жалуются :-(
    Так недавно пришло письмо с 11.5 баллов и было забраковано. Оказалось, это было хорошее письмо по рассылке. Все после того, как в 10-м SA были увеличены баллы за FROM_ILLEGAL_CHARS и
    SUBJ_ILLEGAL_CHARS до нереально высоких величин.
     
     
  • 2.37, dawnshade (?), 15:27, 22/09/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Началось с того, что почему-то сильно поменялись (и далеко в нелучшую сторону)
    >коэффициенты. Вдруг bayes_99 упал до 3.5, а русские буквы в заголовках
    >from и  subj вдруг стали весить более 4 баллов. Ужас!

    настрой. это было уже в 2.64

    >Стал проходить спам и отсеиваться почта от роботов и рассылок. Ведь
    >роботы пишут наши криворукие программеры, которые не читают RFC.

    это проблемы исключительно программеров.

    Видимо, это
    >может полечиться ручной правкой баллов local.cf. Но что печальнее, появились непонятки
    >в работе журналирования и стал глючить sa-learn.

    ни разу не заметил.

    >Хотя начинает появляться мысль, а нафиг он нужен? Spamassassin, то есть. Он
    >сейчас отлавливает у меня всего то 3-5 писем в день. Да
    >и то раз в неделю неправильно отсеивает "правильную" (вернее нужную, но
    >корявую) почту с рассылок с работных сайтов.

    а нормальные лиди и не отсеивают почту, просто помечают ее. дабы потом обработать правилами MUA.

    > Кадровики жалуются :-(
    >Так недавно пришло письмо с 11.5 баллов и было забраковано. Оказалось, это
    >было хорошее письмо по рассылке. Все после того, как в 10-м
    >SA были увеличены баллы за FROM_ILLEGAL_CHARS и
    >SUBJ_ILLEGAL_CHARS до нереально высоких величин.

    Они нереальны еще 2.64. и подлежат снижению...


    Уже давно было обсуждение, что в целом SA лучше того же спамтеста, но нужно нудно и долго точить его руками. Если тебе лень или некогда - используй коммерческие решения, где это все делают за себя. у Spamtest, кстати, одна из целей минимизирование false positives

     

  • 1.38, nightowl (??), 12:58, 06/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вопрос такой, как сделатьчтоб SA всеже реагировал на
    body            CUST_RUS_SEX            /плохое слово|очень плохое слово/i
    Дело в том, что когда плохие слова на кирилице, то SA их не замечает :( а латиницей - нормально... "через раз" парсит когда в windows-1251 приходят письма.

    ТЕ вопрос в следующем, как SA помочь понимать больше русскоязычных кодировок, не ссредствами ьбаеса. а прямой фильтрацией ?

    Спасибо.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру