По поводу спама в интернете: мы пытаемся решить эту проблему у себя в
институте (Институт Солнечно-Земной Физики). Перепробовали много почтовых фильтров и все они по разным причинам нас не устроили.
Основные причины: использование сомнительных методов фильтрации, таких как контекстных поиск по ключевым словам, фильтрация по цвету используемого шрифта или бэкграунда в HTML сообщениях, черезмерно жесткие требования к конфигурации передающего сервера и.т.п. Отключение этих функций в большинстве популярных фильтров приводит к бесполезности их применения. Использование же этих
функций приводит к ошибкам фильтрации - т.е. к утере важной
информации.
В нашем случае это было недопустимо и нам пришлось написать собственный фильтр (Sendmail Confirmation System (SMC)), который практически лишен таких недостатков. Сейчас фильтр тестируется на ограниченной группе пользователей. Эффективно фильтрует спам и при правильной настройке не приводит к потере информации.
Основные возможности:
- Криптографическая система подтверждения
доставки;
- Оригинальный "chek relay" алгоритм;
- 3 эффективных алгоритма проверки отправителя;
- Локальная проверка получателя;
- Поддержка DNS-листов;
- Функция переименования расширения опасных типов
присоединенных файлов;
- Очистка HTML от скриптов и опасных внедренных объектов.
Программа доступна в исходниках для некоммерческого использования;
немного сырая, но рабочая. Фильтр написан для Sendmail/Linux.
Поддержка других систем не предусматривается. Подробнее:
http://smc.iszf.irk.ru (http://smc.iszf.irk.ru) и если необходимо готов прокомментировать
используемые алгоритмы.
URL: http://smc.iszf.irk.ru
Новость: http://www.opennet.me/opennews/art.shtml?num=2813
При сборке пишет:
make
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -c locks.c
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -c utils.c
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -c relay.c
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -c smtp.c
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -o smc-milter locks.o utils.o relay.o smtp.o smc-milter.c -lmilter -lsm -pthread -lssl -lresolv -ldb
/usr/bin/ld: cannot find -lsm
collect2: ld returned 1 exit status
make: *** [milter] Ошибка 1
Установите sendmail-devel
Выложи db_185.h из /usr/include/db3 в /usr/include или сделай на него линкпро sendmail-devel я уже догодался:-)
а у меня
[root@ros smc-milter-1.0.5]# make
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -c relay.c
relay.c:31:20: db_185.h: No such file or directory
make: *** [relay.o] Error 1
для сборки требуется
db4-devel или db3-devel или glibc-devel в зависимости от того на какой системе вы собираете фильтр.
поставил sendmail-devel
стоит glibc-devel и db3-devel - все ровно тоже
[root@ros smc-milter-1.0.5]# make
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -o smc-milter locks.o utils.o relay.o smtp.o smc-milter.c -lmilter -lsm -pthread -lssl -lresolv -ldb
/usr/bin/ld: cannot find -lsm
collect2: ld returned 1 exit status
make: *** [milter] Error 1
Убери -lsm из LIBS в Makefile
Вполне достаточно lmilter.
теперь вот это:
[root@ros smc-milter-1.0.5]# make
cc -g -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -o smc-milter locks.o utils.o relay.o smtp.o smc-milter.c -lmilter -pthread -lssl -lresolv -ldb
/usr/lib/gcc-lib/i386-redhat-linux/2.96/../../../libmilter.a(main.o): In function `smfi_register':
main.o(.text+0x74): undefined reference to `strlcpy'
/usr/lib/gcc-lib/i386-redhat-linux/2.96/../../../libmilter.a(main.o): In function `smfi_setconn':
main.o(.text+0x12f): undefined reference to `strlcpy'
/usr/lib/gcc-lib/i386-redhat-linux/2.96/../../../libmilter.a(listener.o): In function `mi_milteropen':
listener.o(.text+0x184): undefined reference to `strlcpy'
/usr/lib/gcc-lib/i386-redhat-linux/2.96/../../../libmilter.a(engine.o): In function `st_connectinfo':
engine.o(.text+0x83a): undefined reference to `strlcpy'
collect2: ld returned 1 exit status
make: *** [milter] Error 1
Первое: в твоем случае действительно нужна библиотека libsm.a, которая по всей видимости отсутствует в твоем sendmail-devel пакете (вероятно забыли положить ;). Второе: твой sendmail безнадежно устарел. Версию, которую ты используешь использовать опасно. Подробности на http://www.sendmail.org. Удачи!
В принципе если найдешь у себя libsm.a
короче сделай так:
rpm -qi sendmail-devel | grep libsm
и посмотри есть она у тебя или нет, если есть - в LIBS
(в Makefile) вместо -lsm укажи полный путь к ней.
должно собраться. Но sendmail в любом случае тебе обновить не мешает.
Это все здорово, я только не понял, где же здесь собственно *контекстная* фильтрация. То-есть, анализ тела письма и заголовков. Обратную проверку - вижу, поддержку блэк-листов - тоже, включение-выключение фильтрации для отдельных пользователей - это вообще отлично. А анализа писем нету. Это раз. Два - если MTA отдаёт письмо доставщику, отличному от тупого mail.local (Cyrus, например, точнее lmtpd), часть функций вообще идёт по женско
Это все здорово, я только не понял, где же здесь собственно *контекстная* фильтрация. То-есть, анализ тела письма и заголовков. Обратную проверку - вижу, поддержку блэк-листов - тоже, включение-выключение фильтрации для отдельных пользователей - это вообще отлично. А анализа писем нету. Это раз. Два - если MTA отдаёт письмо доставщику, отличному от тупого mail.local (Cyrus, например, точнее lmtpd), часть функций вообще идёт по женской линии. Три - не на линуксе эта штука даже не соберется, впрочем об этом честно было сказано. Но все равно, жаль, т.к. многие ISP используют *BSD.
Насчет заголовка - это уж так тут нас обозвали ;-)
Но в принципе я не против контекстная фильтрация в какой-то мере в фильтре присутствует: подмена опасных расширений присоедененных файлов, фильтрация скриптов и опасных html тегов.. правда это конечно не главное в этом фильтре. Насчет всего остального - согласен. Фильтр писался под нужды института и не предназначен для всех случаев жизни. По поводу других систем и других MTA. Думаю, что новые версии появятся, т.к. пока что (при сильной нагрузке) связка Linux/Sendmail/Milter/Filter работает немного нестабильно.
Кстати, и это все-таки важно:
Основная идея реализованная в этом фильтре - как раз отказаться от методов фильтрации спама по контенту. Причины - см. выше.Насчет методов: в принципе все методы фильтра так или иначе разработаны для проверки либо IP либо E-mail адреса отправителя. Попробую описать их
подробнее..1) простая проверка на существование адреса отправителя, как локального, так и удаленного; если удается определить, что адрес не существует - выдается соответствующая ошибка и письмо не принимается. Если нет - идем дальше..
2) "Check relay by NS" (оригинальный SMC-алгоритм) - представляет из себя
динамический whitelist, это проверка по Name-серверам IP адреса
сервера-отправителя исходя из имени почтового домена (хостовой части обратного адреса). Грубо говоря правила релеинга чаще всего устанавливаются по IP адресам. Мы пытаемся найти IP адрес почтового сервера отправителя на поддерживающих его почтовый домен серверах имен. Если находим - пропускаем, если нет - идем дальше.3) "DNS-lists check" - Проверка по IP адреса почтового сервера по DNS-листам. В зависимости от типа DNS-листа либо пропустили - либо нет. Поддерживаются Black-листы, White-листы и Листы адресов модемных пользователей. Правила описаны в файле policy и исполняются последовательно. Применение этого правила эффективно блокирует почту с известных открытых релеев и прямую отправку почты, минуя сервер провайдера от dialup - пользователей. Более-менее эффективный
такой список dialup адресов в России http://dul.ru. К сожалению не все
провайдеры подают такие данные.4) Проверка почтового адреса отправителя по пользовательским листам доступа. Проверка контекстная - т.е. можно принудительно разрешить или запретить прием сообщений как с одного адреса так и со всех адресов принадлежащих указанному домену.
5) "Check delays" (оригинальный SMC-алгоритм) - проверка исполнения сервером отправилеля функции повторной доставки сообщения в ответ на ошибку TEMPFAIL (Что означает - сервер временно недоступен). Анализируется количество попыток повторной доставки почты с 10-минутными интервалами. Количество задержек устанавливается в файле конфигурации. Этим правилом отсекается вся почта, которая посылается напрямую, минуя почтовые сервера, программами рассылки.
6) "Multihop check" (оригинальный SMC-алгоритм) - Проверка пути следования письма - IP адресов почтовых серверов по DNS-листам. Работает аналогично описанному выше правилу по списку DNS-листов. Проверяются только Black-листы. Т.е. если письмо прошло через один из адресов найденных в Black-листах - оно не будет принято.
Вот собственно и все, все методы простые и понятные.
Да, я понимаю.
Было бы, может быть, неплохо сделать обратную проверку. Примерно так:
- принимаем письмо от user@somedomain.dom
- смотрим, кто является приоритетным MX-ом для mydomain.dom
- подключаемся на 25 порт этого MX-а, говорим ehlo, говорим mail from: root@ourdomain.dom, говорим rcpt to: user@somedomain.dom
- если на этом этапе не получаем ошибки, то отключаемся, и считаем, что письмо - не спам.
Разумеется, это не панацея, т.к. в ряде случаев MX может тупо принимать всю почту для домена - например, в случае дальнейшей передачи по UUCP, или... ну, в общем, возможен ряд других случаев. Но все-таки.
>Было бы, может быть, неплохо сделать обратную проверку. Примерно так:Аргументы против такой проверки:
- 80% моей почты составляют письма от роботов с хостов не принимающих почту, а только отправляющих. Затрояненную машину рассылающую спам, не отличить от send-only сервера.
- Огромное число (больше чем кажется) серверов не осуществляет проверку реальности пользователя на этапе RCPT TO, скорее всего сперва принимается письмо, а потом генерируется bounce сообщение.
- Спам все больше и больше отправляется с реальными email в заголовках, взятых из спамовской базы по которой ведется рассылка.
Фильтр такую проверку делает. Но несколько иным образом.
На этапе приема почты он делает запрос к наименьшему MX-у и если получает ясный ответ, что такого пользователя не существует - то выдает ошибку 550 Rejected by filter. В любом другом случае ни делаем ничего ;-)
Причина по которой нельзя пропускать если пользователь существует - в большей части случаев это как раз и есть спам, т.е. письмо отправлено не им.
Источник ссылки - http://smc.iszf.irk.ru/ - только мне недоступен? Или что-то случилось?
Какие-то проблемы у провайдера. Обещали скоро поправить.
Если так будет продолжаться - перебросим проект на другой канал.
Перебросили сайт проекта на другой канал.
Пока обновляются DNS-таблицы используйте IP: 195.161.19.177
Выложили текущую версию фильтра.
Если у Вас фильтр работает нестабильно, попробуйте новую версию.
Релиз фильтра ожидается в течение месяца.
16.09.2003 SMC версия 1.0.9-PR (Pre Release)
ВНИМАНИЕ: При сборке пакета фильтра версии 1.0.9-PR от 19.09.2003 были допущены ошибки. Фильтр некорректно работал в режиме "подтверждения доставки". Рекомендуется обновление до версии 1.0.9-PR2.
Версия 1.2.0. Release (07.10.2003)
Фильтр стал меньше, проще и лучше. Среди новых возможностей - проверка проходящей почты на вирусы с помощью антивируса Касперского. Теперь фильтр работает не только с локальными пользователями.
Замечательный фильтр и алгоритмы неплохо продуманы, но найден один(пока) существенный недостаток. Отшибаются письма от виртуальных почтовых доменов. Пример:
Письмо от vasya@pupkin.net доставляет нам mail.dudkin.net(1.1.1.1)и его фильтр бортует, т.к. домены не совпадают. Резолвинг адреса 1.1.1.1 дает mail.dudkin.net.
Но если посмотреть зону pupkin.net , то видно, что там MX mail.pupkin.net , который тоже имеет адрес 1.1.1.1
Ситуация очень распространенная, нужно как то решать... :(
Алгоритм ns-relay не используется для блокирования почты. Это есть в readme (подробное описание сделаем позже). этот алгоритм используется для того, чтобы выделить те контакты, которые могут быть признаны легальными и пропущены без задержек. Прием тех писем, которые вызывают подозрение задерживается (в стандартной конфигурации на 10 минут). После чего такая почта будет также принята. Задержка необходима для того, чтобы отфильтровать тех отправителей, которые не могут осуществить повторную доставку почты в ответ на ошибку 4.7.0 (сервер временно не доступен. повторите позже).На некоторые адреса может не срабатывать verify (для проверки есть утилиты
smc-tools в дистрибутиве).Для тех исключительных случаев, когда какой-то из алгоритмов не позволяет
принимать почту с известного сервера или требуется пропускать почту без
задержек с какого-то опять же определенного сервера - есть access файл
sendmail-а в который можно прописать (например для сервера 192.168.1.1):192.168.1.1 OK
Почта с этого адреса будет приниматься без задержек.
Также для этих целей есть алгоритм автоаутентификации отправителя. Работает он следующим образом: если пользователь системы ранее отправлял сообщение какому-то адресату - то обратный ответ вернется без задержек.
Таким образом мы имеем один "черный список" - это DNS блэк-листы, блокировку несуществующих адресов (verify), алгоритм ns-relay, который инициирует задержку приема для тех сообщений, которые не были признаны легальными и 3 типа "белых списков", которые позволяют избежать такой задержки в случае ошибки. Это /mail/access, DNS белые списки и система автоаутентификации отправителя.
Таким образом после некоторого времени работы система автоматически обучается и входит в нормальный режим работы. Остаются только проблемные сервера (они встречаются крайне редко), которые прописываются в /mail/access (см. выше).
а как исправить smc-milter.conf чтобы он локальным пользователям не выдавал "Try again later"
smc-milter.conf исправлять не нужно.
локальные пользователи должны быть определены в /mail/access следующим образом (напр. для локального хоста и сети 10.2.1.0):127.0.0.1 RELAY
10.2.1 RELAYЕсли требуется только принимать почту без проверок от какого-то сервера можно прописать (напр для 192.168.2.1):
192.168.2.1 OK
да у меня так все и есть.
для локальных адресов - RELAY.
но все равно в ответ только - Try again later.
а еще варианты есть?
спасибо за ответы
>а еще варианты есть?
Дополнительные варианты не требуются. Пишите на мой e-mail - попробуем разобраться.
народ, прошу сильно не бить. У меня несколько чайниковых вопроса:
1. Заменяет ли данный софт такие связки как Spamassassin+procmail?
2. Есть ли связное описание данного продукта?
3. Можно ли после установки данного продукта удалить из mc файла строки типа
FEATURE(dnsbl, 'dialups.mail-abuse.org','550 Mail from $&{client_addr} rejected; see http://mail-abuse.org/dul/enduser.htm')FEATURE(dnsbl,'unconfirmed.dsbl.org','550 Mail from $&{client_addr} rejected; see http://dsbl.org/listing.php?$&{client_addr}
')FEATURE(dnsbl,'relays.ordb.org', 'Rejected - see http://ordb.org/')
?Ответы очень прошу продублировать на мыло.
Спасибо заранее.
Заранее спасибо за ответ,
собираеться нормально, но при старте сендмайла в консоль пишет:451 4.0.0 /etc/mail/sendmail.cf: line 1846: XSMC-milter: local socket name /var/spool/msmcfilter/smc-milter.sock unsafe: Group writable directory
Хотя это естественно не так. :-(
В лог файле следующая картина:
NOQUEUE: SYSERR(root): /etc/mail/sendmail.cf: line 1848: XSMC-milter: local socket name /var/run/smc-milter.sock unsafe: Group writable directory
NOQUEUE: Milter (SMC-milter): to error state
NOQUEUE: Milter (SMC-milter): to error stateСпасибо заранее.
с правами доступа напортачил, у меня такая же проблема был. набрал:
sudo chmod go-w / /etc /etc/mail /usr /var /var/spool /var/spool/mqueue
Сырой, слабый продукт. Не очень эффективен. Иногда совсем не эффективен. Намного более интересное решение - это milter-sender.
А еще milter-regex и smtp-vilter.
>Сырой, слабый продукт. Не очень эффективен. Иногда совсем не эффективен. Намного более
>интересное решение - это milter-sender.
>А еще milter-regex и smtp-vilter.
В корне не согласен, все вышеперечисленные фильтры значительно уступают по возможностям и эффективности smc-milter.
На счет сырости - согласен, если бы авторы продолжили работу - получился бы отличный продукт.
>>Сырой продукт.Проект продолжает развиваться.
Новый адрес проекта http://milter.sourceforge.net/
Проекту нужна помощь.-- Alexander
SMC anti-spam e-mail filter версия 2.0SMC анти-спам e-mail фильтр (плагин) - программное приложение разработанное, чтобы значительно уменьшить количество приходящей SPAM/UCE почты. SMC использует технику подобную грейлистингу для блокирования нежелательной почты и набор работающих по оригинальным алгоритмам автоматических белых списков для определения легальной почты, которая будет доставлена без задержек. В версии 2.0 появилась поддержка Postfix, поддержка антивируса ClamAV, возможность блокирования всей почты, не прошедшей проверку белыми списками. Устранено большое количество критических ошибок.
URL: http://milter.sourceforge.net
Файлы, доступные для скачивания:
http://prdownloads.sourceforge.net/milter/smc-milter-2.0-1.i...
http://prdownloads.sourceforge.net/milter/smc-milter-2.0-1.i...
http://prdownloads.sourceforge.net/milter/smc-milter_2.0-1_i...
http://prdownloads.sourceforge.net/milter/smc-milter-2.0-1.s...
http://prdownloads.sourceforge.net/milter/smc-milter-2.0.tar...Все RPM собираны на Alt-Linux 4.02
Все DEB пакеты на Ubuntu 8.04
Александр я поставил milter все работает замечательно, только я не могу найти детального описания работы этого мильтера. :(
Скоро обновится сайт и там будет полное и детальное описание.
SMC-milter обновился до версии 2.1. Добавлена поддержка SPF (Sender Policy Framework). Исправлена потенциальная ошибка в алгоритме кэширования данных. Перезагрузка конфигурации добавлена на сигнал 1 (SIGHUP). Обновлен загрузочный скрипт для FreeBSD. "NS Relay" алгоритм переименован в AutoSPF. Устранена незначительная ошибка в коде AutoSPF. Открыт сайт проекта AutoSPF ( http://www.autospf.org/ ). Auto-confirmation алгоритм переименован в AutoSWL (Auto Sender White List). Устранена критическая ошибка в greylisting алгоритме фильтра. Добавлен ряд новых опций в конфигурационный файл фильтра. Незначительные изменения в значениях по умолчанию конфигурационного файла. Чистка кода, оптимизация, изменения в документации. Рекомендуется обновление.URL: http://milter.sourceforge.net
URL: http://www.autospf.org
Нужна помощь.пытаюсь собрать пакет 2.1 на Red Hat Enterprise Linux AS release 3 (Taroon Update 7)
./configure
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for gawk... gawk
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking for C compiler default output file name...
configure: error: C compiler cannot create executables
See `config.log' for more details.в config.log пишет.
configure:2597: gcc -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -Wextra conftest.c -pthread >&5
cc1: unrecognized option `-Wextra'
>Есть такая проблема на CentOS 3.
>configure:2597: gcc -O2 -Wall -D_GNU_SOURCE -D_REENTRANT -Wextra conftest.c -pthread >&5 cc1: unrecognized option '-Wextra'надо в configure поправить строку компиляции убрав из нее -Wextra все собирется и заработает.