The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Вопрос по антиспаму + созданию удобств для Админа"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (ok) on 05-Фев-08, 10:22 
Есть связка Sendmail+Spamassassin, письма забираются по POP3.
Настроен procmail для того, чтобы кидать письма с "*****SPAM" в теме в файл почтовой базы для пользователя allspamgoeshere.

Чтоб как-то облегчить себе просмотр этой помойки и не вредить делу создал второй ящик spamlearn, куда просто копирую с помощью "cat" файл allspamgoeshere. Затем загружаю письма с первого ящика в Outlook и смотрю. Полезные письма ещё не разу не были отсеяны, но юзерам спам валится по 10 сообщений в день.

Дело в том, что на наш почтовый сервер (сейчас у нас свой домен) письма форвардятся с другого сервера (домена), который раньше использовался организацией по договору, теперь договор хранения почтовых ящиков истек, но иногда юзерам шлют на старые ящики. Мы попросили пока, чтоб их сервак переадресовал на наш, но спам поступает не фильтруемый.  В полях писем естественно пишется, что переадресовано с такого-то ящика. Влияют ли такие поля на качество обучения?

Ещё я, если не находил полезных писем в allspamgoeshere, натравливал sa-learn на spamlearn, но в том файле бывает множество одинаковых писем, что видимо тоже плохо. Раньше стояло включенным автообучение байесов, в результате чего некоторые виды спама были приняты за ham и таким письмам выставляются отрицательные баллы. Теперь я это отключил и учу вручную. Хотя "сигнатур" набралось несколько тысяч.

Сейчас, поняв, что обучение было не совсем адекватным, хочу переучить. Встали такие вопросы:

1) Если нету IMAP и пользователь не может класть нераспознанное спамовое письмо в отдельную папку на сервере, а пересланное пользователем письмо на служебный спамоадрес будет хранить в заголовках информацию, которая, мне кажется, может криво повлиять на обучение, как удобно и корректно можно организовать такое перемещение?

2) Если я просматриваю спамофайл (или пользовательский ящик) с кучей писем и обнаружил в нем:
а) полезное письмо;
б) уникальный интересный вид спама;

как средствами FreeBSD или вообще любыми по-быстрому извлечь именно это письмо и корректно кинуть в служебный файл для обучения?

3) Если спам из одной категории, то хватает ли одного акта обучения на письме такого рода? И не влияет ли плохо то, что я каждый день получаю одинаковые спам-письма, которые кидаются в спамофайл наряду с другими спам-письмами, и я запускаю училку на весь этот файл, тем самым обучаю на одном и том же?

4) Нужно ли учить на форвардённых спам-письмах?

5) В мануалах к спамассасину писалось о процедуре обучения - натравите sa-learn на каждую почтовую папку каждого пользователя.
Уникальны ли "сигнатуры" спама для каждого сервера/домена и каждого почтового ящика? Корректно ли будет импортировать файл с токенами от другого сервака?

6) Если учить на отловленном спаме, какая с этого польза?

Спасибо всем, кто дочитал до конца

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Felix email(??) on 05-Фев-08, 13:37 
Если у вас свой почтовый домен, то настройте Sendmail  на отсечение спама еще на этапе соединения. Это делается довольно просто ( dnsbl, greylist, LOCAL_RULEZ ) и сильно облегчит работу по дальнейшей фильтрации спама.
Spamassasin имеет смысл только для клиентов, которые работают под Windows, потому как спам может содержать вирусы и ссылки, которые используют уязвимости в почтовых клиентах. То есть, если в работу включается Spamassassin, значит сообщение почтовым сервером уже принято, и за  него уплачено (трафик то прошел).
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (??) on 05-Фев-08, 13:41 
>Если у вас свой почтовый домен, то настройте Sendmail  на отсечение
>спама еще на этапе соединения. Это делается довольно просто ( dnsbl,
>greylist, LOCAL_RULEZ ) и сильно облегчит работу по дальнейшей фильтрации спама.
>
>Spamassasin имеет смысл только для клиентов, которые работают под Windows, потому как
>спам может содержать вирусы и ссылки, которые используют уязвимости в почтовых
>клиентах. То есть, если в работу включается Spamassassin, значит сообщение почтовым
>сервером уже принято, и за  него уплачено (трафик то прошел).
>

dnsbl настроены, остальное нет (со временем донастрою), но вопрос немного о другом. хотелось бы и спамассассин хорошо обучит, и как-то обустроить свой быт на почтовом сервере.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (??) on 05-Фев-08, 17:03 
Установил greylist-milter, интегрировал вроде бы в сендмэйл, используя инструкции, вылезшие при завершении make install. Прописал всякое в greylist.conf. Вроде как процесс этот запущен, всё прошло гладко, сокет установился. Как теперь узнать работает ли он вапще? На спамовый ящик спам приходит в тех же объемах (то есть доходит до спам ассассина и дале до процмэйла). В примерном конфиге грейлистинга стоит acl whitelist default, я его закомментировал. Я так понял, что теперь грейлистинг по-умолчанию для всех ящиков домена работает. Ещё там прописывается каждый ящик отдельно, это зависит от acl whitelist default? То есть если нету его то будет работать для всех?

Между тем, предыдущие вопросы так же актуальны.

п.с. скиньте свои конфиги грейлистинга, хочу увидеть необходимые и достаточные директивы, которые работать заставляют это всё. мануалы читал.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Felix email(??) on 05-Фев-08, 17:26 
>[оверквотинг удален]
>есть доходит до спам ассассина и дале до процмэйла). В примерном
>конфиге грейлистинга стоит acl whitelist default, я его закомментировал. Я так
>понял, что теперь грейлистинг по-умолчанию для всех ящиков домена работает. Ещё
>там прописывается каждый ящик отдельно, это зависит от acl whitelist default?
>То есть если нету его то будет работать для всех?
>
>Между тем, предыдущие вопросы так же актуальны.
>
>п.с. скиньте свои конфиги грейлистинга, хочу увидеть необходимые и достаточные директивы, которые
>работать заставляют это всё. мануалы читал.

среди dnsbl важны
отсекает абонентов зарубежных dialup-провайдеров
FEATURE(`dnsbl', `dialups.mail-abuse.org', `Dialup - see http://www.mail-abuse.org/dul/')dnl
отсекает сервера с открытым релеем
FEATURE(`dnsbl', `relays.mail-abuse.org', `Open spam relay - see http://www.mail-abuse.org/rss/')dnl
отсекает абонентов российских dialup-провайдеров
FEATURE(`dnsbl', `dul.ru', `Use mail relays of your ISP')dnl

пошукать в гугле, можно еще с пяток полезных найти.

Далее, greylist. Вообще-то хорошо работает по дефолту. Принцип работы прост: Сервер проят переподключиться через некоторое время. С этим значением и нужно поэкспериментировать. Скажу сразу, что gmail эти эксперименты не выносит :-))

И, самое полезное и вкусно (чтобы не говорили противники этого метода) -- проверка соответствия IP-адреса доменному имени. Нормальный провайдер всегда настроит пул своих адресов, даже если они выдаются по DHCP и абоненты на dialup. Пример (проверенный) -- Сибирьтелеком, РОЛ. У буржуев с этим плохо, но и спам валится с протрояненных буржуйских сетей.
Итак, простое правило, которое добавляется в конец файла *.mc

LOCAL_RULESETS
SLocal_check_relay
R$*             $: < $&{client_resolve} >
R<TEMP>         $#error $@ 4.7.1 $: "450 Relaying temporarily denied. IP name lookup failed for " $&{client_addr}
R<FAIL>         $#error $@ 5.7.1 $: "550 Relaying denied. IP name lookup failed for " $&{client_addr}
R<FORGED>       $#error $@ 5.7.1 $: "550 Relaying denied. IP name forged (PTR and A records mismatch) for " $&{client_addr}

Вот, в принципе, и все.


P.S. имейте ввиду, что у абонентов xDSL Сибирьтелекома с соответствием IP-адреса доменному имени плохо, пока сам абонент не попросит исправить ситуацию сервисную службу.
P.P.S. xDSL != dialup

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (ok) on 06-Фев-08, 08:18 
Спасибо за информацию, dnsbl были включены, насчет правил подумаю, у наших местных провайдеров тоже не всё гладко, но с них могут слать письма руководству.

greylist.conf      [----]  0 L:[  1+ 0   1/108] *(0   /3926b)= #  35 0x23
#
# Simple greylisting config file using the new features
# See greylist2.conf for a more detailed list of available options
#
# $Id: greylist.conf,v 1.37.2.2 2006/09/27 20:03:24 manu Exp $
#

pidfile "/var/run/milter-greylist.pid"
socket "/var/milter-greylist/milter-greylist.sock"
dumpfile "/var/milter-greylist/greylist.db"
user "mailnull"

# Be verbose (or use -v flag)
#verbose

# Do not tell spammer how long they have to wait
quiet

# MX peering
#peer 192.0.2.17
#peer 192.0.2.18

# Your own network, which should not suffer greylisting
list "my network" addr { 127.0.0.1/8 10.10.100.0/24 172.12.20.0/24 181.224.53.210/32 32.80.79.16/32 }

# This is a list of broken MTAs that break with greylisting. Derived from
# http://cvs.puremagic.com/viewcvs/greylisting/schema/whitelis...
list "broken mta" addr {   \
        12.5.136.141/32    \ # Southwest Airlines (unique sender)
        12.5.136.142/32    \ # Southwest Airlines
        12.5.136.143/32    \ # Southwest Airlines
        12.5.136.144/32    \ # Southwest Airlines
        12.107.209.244/32  \ # kernel.org (unique sender)
        12.107.209.250/32  \ # sourceware.org (unique sender)
        63.82.37.110/32    \ # SLmail
        63.169.44.143/32   \ # Southwest Airlines
        63.169.44.144/32   \ # Southwest Airlines
        64.7.153.18/32     \ # sentex.ca (common pool)
        64.12.136.0/24     \ # AOL (common pool)
        64.12.137.0/24     \ # AOL
        64.12.138.0/24     \ # AOL
        64.124.204.39      \ # moveon.org (unique sender)
        64.125.132.254/32  \ # collab.net (unique sender)
        66.94.237.16/28    \ # Yahoo Groups servers (common pool)
        66.94.237.32/28    \ # Yahoo Groups servers (common pool)
        66.94.237.48/30    \ # Yahoo Groups servers (common pool)
        66.100.210.82/32   \ # Groupwise?
        66.135.192.0/19    \ # Ebay
        66.162.216.166/32  \ # Groupwise?
        66.206.22.82/32    \ # Plexor
        66.206.22.83/32    \ # Plexor
        66.206.22.84/32    \ # Plexor
        66.206.22.85/32    \ # Plexor
        66.218.66.0/23     \ # Yahoo Groups servers (common pool)
        66.218.67.0/23     \ # Yahoo Groups servers (common pool)
        66.218.68.0/23     \ # Yahoo Groups servers (common pool)
        66.218.69.0/23     \ # Yahoo Groups servers (common pool)
        66.27.51.218/32    \ # ljbtc.com (Groupwise)
        152.163.225.0/24   \ # AOL
        194.245.101.88/32  \ # Joker.com
        195.235.39.19/32   \ # Tid InfoMail Exchanger v2.20
        195.238.2.0/24     \ # skynet.be (wierd retry pattern, common pool)
        195.238.3.0/24     \ # skynet.be
        195.46.220.208/32  \ # mgn.net
        195.46.220.209/32  \ # mgn.net
        195.46.220.210/32  \ # mgn.net
        195.46.220.211/32  \ # mgn.net
        195.46.220.221/32  \ # mgn.net
        195.46.220.222/32  \ # mgn.net
        195.238.2.0/24     \ # skynet.be (wierd retry pattern)
        195.238.3.0/24     \ # skynet.be
        204.107.120.10/32  \ # Ameritrade (no retry)
        205.188.0.0/16     \ # AOL
        205.206.231.0/24   \ # SecurityFocus.com (unique sender)
        207.115.63.0/24    \ # Prodigy - retries continually
        207.171.168.0/24   \ # Amazon.com
        207.171.180.0/24   \ # Amazon.com
        207.171.187.0/24   \ # Amazon.com
        207.171.188.0/24   \ # Amazon.com
        207.171.190.0/24   \ # Amazon.com
        209.132.176.174/32 \ # sourceware.org mailing lists (unique sender)
        211.29.132.0/24    \ # optusnet.com.au (wierd retry pattern)
        213.136.52.31/32   \ # Mysql.com (unique sender)
        216.33.244.0/24    \ # Ebay
        217.158.50.178/32  \ # AXKit mailing list (unique sender)
}

# List of users that want greylisting
#list "grey users" rcpt {  \
#       user1@example.com \
#       user2@example.com \
#       user3@example.com \
#}

# Give this a try if you enabled DNSRBL
#dnsrbl "SORBS DUN" dnsbl.sorbs.net 127.0.0.10

greylist 15m

# And here is the access list
acl whitelist list "my network"
acl whitelist list "broken mta"
#acl greylist list "grey users" dnsrbl "SORBS DUN" delay 24h autowhite 3d
#acl greylist list "grey users" delay 30m autowhite 3d
acl whitelist domain beshelme.ru
acl whitelist domain hachapuri.gov
#acl whitelist default

Посмотрите, что я тут нахреначил. По-дефолту в конфиге greylist.xonf.sample выдуманные вещи написаны, я изменил под себя. Для всех ли теперь действует грейлист?
Напомню, что ещё у нас форвард с дружественного сервака, и валится спам. Тот сервак грейлистить ведь бесполезно, спамассассин работает хреново. Вот и задумаешься тут.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Felix email(??) on 06-Фев-08, 08:52 
>Напомню, что ещё у нас форвард с дружественного сервака, и валится спам.
>Тот сервак грейлистить ведь бесполезно, спамассассин работает хреново. Вот и задумаешься
>тут.

Ну если спам валится с "дружественного" сервера - то тут только Spamassasin + Procmail. Можно еще и почтовых клиентов приспособить к этому. У Thunderbird, к примеру, можно включить антиспам и автоматически складывать спам в специально расшаренный каталог. А Spamassasin будет оттуда обучаться :-)


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (??) on 06-Фев-08, 09:57 
>Ну если спам валится с "дружественного" сервера - то тут только Spamassasin
>+ Procmail. Можно еще и почтовых клиентов приспособить к этому. У
>Thunderbird, к примеру, можно включить антиспам и автоматически складывать спам в
>специально расшаренный каталог. А Spamassasin будет оттуда обучаться :-)

Про наш домен спамеры не прознали ещё, всё приходит на старый и редиректится, в итоге, в служебны полях сообщения пишется много всего: упоминается пересылающий сервер, адрес старый, адрес новый. Если я буду обучать на этом СпамАссассин, то не будет ли это некорректным? Ведь у прямого сообщения пишется откуда и куда и всё. Дружественный домен в white list.

П.С. С моим greylist.conf всё ок? Выложите свой, пожалуйста, кто-нибудь.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Вопрос по антиспаму + созданию удобств для Админа"  
Сообщение от Tristan (??) on 12-Фев-08, 13:48 
В общем, удалил все байесы. Думаю учить заново.
Но ответы на вопросы так и не получил, не понятно, не будет ли это зря. (
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру