Популярный статистический спам-фильтр DSPAM в ближайшее время окажется "на улице" - об этом в списке рассылке предупредил (http://marc.info/?l=dspam-users&m=123137302320349&w=2) пользователей Mike Johnson, руководитель компании Sensory Networks .
Sensory Networks преобрела права на DSPAM и домашний сайт проекта (dspam.nuclearelephant.com (http://dspam.nuclearelephant.com)) у его автора Jonathan Zdziarsky весной 2007 года. С тех пор развитие проекта резко затормозилось и вот теперь компания признала очевидное - у неё нет желания продолжать развитие проекта и к концу января 2009 года домашняя страница проекта будет закрыта.
Всем заинтересованным гражданам предлагается скачивать исходники и архивировать mailing-list. Остается надеяться, что в сообществе пользователей DSPAM найдутся желающие продолжить его развитие (он продолжает оставаться под лицензией GPL). В качестве возможного кандидата - dspam-community (http://apps.sourceforge.net/mediawiki/dspam-community/index....).URL: http://marc.info/?l=dspam-users&m=123137302320349&w=2
Новость: http://www.opennet.me/opennews/art.shtml?num=19671
грустно :(
Ничего грустного я здесь не вижу. Наоборот, очень хорошо. По-крайней мере есть какая-то определенность, что уже лучше, чем то молчаливое удушение проекта, которым Sensory Networks занималась последний год. Вот что крысис животворящий делает! По крайней мере сообщество как-то сорганизовалось и выдвинуло альтернативный проект, хотя это нужно было ещё год назад сделать. Я об этом как раз писал в декабрьском номере "Системного администратора"Я про dspam-community только что узнал и несколько поспешил, 6-го января выложив свой вариант - http://fireforge.net/projects/dham/ . Так что теперь придётся выбирать - или присоединяться к dspam-community или продолжать пилить свой проект.
Туда и дорога.
«Афтар» за сто лет не удосужился выпилить ctime.pl
Конченый МУДАГ.
не вижу в нем большого смысла, процент ложных срабатываний у него при самом усиленном обучении все равно выше приемлемого. годится он разве что для мелких фирмочек с не ленивым админом, не более.
А вы посмотрите на то сколько ресурсов потребляет спамассасин перловый и дспам - сразу все станет понятно.
Странно, но у меня за 5 лет использования никаких проблем с ложным срабатыванием.А по теме новости - безумно жаль.
А предложите альтернативу? (акромя спамассасина)
бесплатную? :) бесплатными не пользуюсь, а платные рекомендовать не буду, ибо сочтут рекламой. но на потоке 60Г почты в сутки ложные срабатывания DSPAM очень заметны, как не обучай.
>бесплатную? :) бесплатными не пользуюсь, а платные рекомендовать не буду, ибо сочтут
>рекламой. но на потоке 60Г почты в сутки ложные срабатывания DSPAM
>очень заметны, как не обучай.Ну, да, в ложных срабатываниях DSPAM виноват сам DSPAM, а в ложных срабатываниях <подставить нужное название коммерческого спам-фильтра> виноваты тупые отправители, которые не соответствуют высоким стандартам <подставить нужное название компании, разрабатывающей коммерческий спам-фильтр> ...
Про спамтест скажу, что очень хорошо работает. Про спамоборону врать не буду, версия "1024" работает ничего так, но она полагается (если не ошибаюсь) в т.ч. и на RBL Яндекса (точнее, вроде бы, самой СО, но такие тонкости не очень знаю), а RBL-ями я бы хотел сам управлять.В любом случае если брать необслуживаемую (т.е. установил, и пусть работает, обновляя базы, сама) установку эти решения сильно лучше, чем Ассасин. На последний надо постоянно посматривать, куда его несет (это если обновлять фильтры автоматом), или регулярно обучать, молясь, чтобы статистические фильтры не "забились". Коммерческие фильтры в этом смысле лучше, хотя их цена, конечно, на фоне цены Ассасина заметна.
Правда, для компаний (провайдеры, напр., или корпоратив), которые могут себе поставить те же KAV или DrWEB + Spamtest или SpamOborona, и готовы принять мысль, что сервис может оплачиваться, такие решения удобны.
Впрочем, за рекламу сочтут :)
зря вы тут с конкретными названиями, ведь точно обвинят во всех смертных грехах :)
у используемого мной спам-фильтра ложных срабатываний практически нет. одна-две жалобы в год.
> у используемого мной спам-фильтра ложных срабатываний практически нет.
> одна-две жалобы в год."имя, сестра! имя!"
не ради рекламы.. передо мной стоит дилемма выбора.. ну так какой же продукт используете?
> на потоке 60Г почты в сутки ложные срабатывания DSPAM очень заметны, как не обучай.Простите.Я видел своими глазами как солидный коммерческий сервис пустил под нож важную корпоративную почту, при том несколько раз.Ложные срабатывания есть у всех.Чтобы не профукивать почту - ее не надо фильтровать, но тогда придется искать в горах спама полезную почту.В общем все эти фильтры - донкихотство.Борьба не с причиной проблемы а со следствием с красочным выпусканием пара и рубками с ветряными мельницами.Нормальное решение - закопать SMTP нахрен и устроить редизайн старинного протокола.С поправками на современные реалии.Никто же не катается по улицам на авто образца тысяча-девятьсот-хренадцатого года, правда?
>в горах спама полезную почту.В общем все эти фильтры - донкихотство.Борьба
>не с причиной проблемы а со следствием с красочным выпусканием пара
>и рубками с ветряными мельницами.Нормальное решение - закопать SMTP нахрен и
>устроить редизайн старинного протокола.С поправками на современные реалии.Вот и предложите RFC. Как только дело доходит до конкретных спецификаций - размахивание руками резко заканчивается и начинается надувание щёк. Чтобы при этом протокол был максимально открытым (без необходимости предъявлять пароли и вводить капчи на каждом шагу). И с поправками на то, чтобы не потребовалось делать его редизайн, после того как он завоюет популярность сравнимую с SMTP (и когда им всерьёз заинтересуются спаммеры).
Ну, а фильтры типа DSPAM и без SMTP не пропадут. Мало ли где понадобится такого рода "механический цензор" ...
>Вот и предложите RFC. Как только дело доходит до конкретных спецификаций -
>размахивание руками резко заканчивается и начинается надувание щёк.На самом деле секрет этого - прост.Геморроя - более чем много.На целую серьезную рабочую группу из элитных умников хватит - задачка нетривиальная.Да еще с вероятностью процентов так 90 технология потом "не взлетит".Благо, тормозить ее внедрение будут и спамеры, и производители спамфильтров и прочие.Да и убедить всех софт писать под новый протокол - не особо какая простая задача.
>Чтобы при этом протокол был максимально открытым
>(без необходимости предъявлять пароли и вводить капчи
>на каждом шагу).Ну да, все так: геморройный протокол имеет меньше всего шансов на успех.Но какой-то хотя-бы редкий геморрой для отсева ботов от человеков придется делать.Хотя-бы те же капчи, хотя-бы 1 раз на 1 получателя за все время переписки(кому нужны автоматические события в мыле и прочая - добавят своего робота в авторизованных получателей, а вот произвольному баклану слать такое не выйдет).Лично мне видится решение навроде mandatory контакт-листа и однократной проверки на человечность при начале переписки.Но даже такая минималистская мера заставит озвереть например тех кто дал объяву публично и на нее отвечают случайные люди.
>И с поправками на то, чтобы не потребовалось
>делать его редизайн, после того как он завоюет популярность сравнимую с
>SMTP (и когда им всерьёз заинтересуются спаммеры).Заранее всего не предусмотришь - жизнь всегда может поставить новые условия.А вот что протокол должен быть расширяемым - факт.
>Ну, а фильтры типа DSPAM и без SMTP не пропадут. Мало ли
>где понадобится такого рода "механический цензор" ...Пока что такие в основном занимаются борьбой с крайне тупой проблемой: из-за бестолковости протокола более 90% почты - спам.Прикольно оплачивать срач себе же в мылбоксы и работу своей инфраструктуры на 90% на спамеров, ага.Хуже только шеллы задарма выдавать всем желающим :)
>[оверквотинг удален]
>Ну да, все так: геморройный протокол имеет меньше всего шансов на успех.Но
>какой-то хотя-бы редкий геморрой для отсева ботов от человеков придется делать.Хотя-бы
>те же капчи, хотя-бы 1 раз на 1 получателя за все
>время переписки(кому нужны автоматические события в мыле и прочая - добавят
>своего робота в авторизованных получателей, а вот произвольному баклану слать такое
>не выйдет).Лично мне видится решение навроде mandatory контакт-листа и однократной проверки
>на человечность при начале переписки.Но даже такая минималистская мера заставит озвереть
>например тех кто дал объяву публично и на нее отвечают случайные
>люди.
>Капча - это ерунда, её скоро сломают. Так что с ботами нам (бледнотикам) придётся как-то уживаться. Так что придётся нам бить их их же оружием - статистическим анализом. В 9 из 10 случаев это должно помочь.
>[оверквотинг удален]
>Заранее всего не предусмотришь - жизнь всегда может поставить новые условия.А вот
>что протокол должен быть расширяемым - факт.
>
>>Ну, а фильтры типа DSPAM и без SMTP не пропадут. Мало ли
>>где понадобится такого рода "механический цензор" ...
>
>Пока что такие в основном занимаются борьбой с крайне тупой проблемой: из-за
>бестолковости протокола более 90% почты - спам.Прикольно оплачивать срач себе же
>в мылбоксы и работу своей инфраструктуры на 90% на спамеров, ага.Хуже
>только шеллы задарма выдавать всем желающим :)
>Капча - это ерунда, её скоро сломают.Предусмотреть что алгоритм генерации можно менять.Капча - лишь набор пикселов.И желание получить какой-то ответ.Описание того что там изображено.Или что-то еще.А вот изображать там можно что угодно, как вы это ломать то будете?Однозначного взлома не существует.Точнее, когда компьютеры научатся универсально распознавать картинки с абсолютно произвольным содержимым от пятка букв до электрических цепей с физической задачкой и адекватно обработав произвольное содерживое в стиле человека выдавать верный ответ, процитировав ли классика или решив физическую задачку (как у одних кексов капча на форуме) - у вас будут намного более интересные проблемы чем какой-то там несчастный спам, который покажется вам невинной шалостью.Как вам идея поделиться вашими правами с новым ... РАЗУМНЫМ СУЩЕСТВОМ которое вы же и создали?
>Так что с ботами нам (бледнотикам) придётся как-то уживаться.
Если боты достигнут интеллекта сравнимого с человеком - им еще и прав придется наверное дать, ну и так далее - спам будет при этом далеко не самой большой проблемой.А до тех пор - пусть клюют в обломе и набираются интеллекта.Ну а когда они будут всегда проходить все тесты на человечность и научатся мыслить - придется признать за ботами наличие разума, очевидно.
>Так что придётся нам бить их их же оружием - статистическим анализом.
Увы, спамеры это учитывают и принимают меры против этого.От спама в гифах с случайными параметрами в полях письма до прочих извращений.При этом под нож будет попадать недопустимо много легитимных данных (особенно по мере роста мастерства спамеров) и такой сервис вообще потеряет смысл.Зачем нужна почта если в половине случаев вас объявят спамером и пошлют нафиг?Да впрочем оно и сейчас не редкость. :\
>В 9 из 10 случаев это должно помочь.
Спамеры тоже эволюционируют - это уже не те дятлы с программами на вьюжл васике как раньше.И собственно не вижу особых проблем поднасрать статистическому анализу если задаться этой задачей.И что характерно - задаются ведь.И пробивают спамфильтры...
>Простите.Я видел своими глазами как солидный коммерческий сервис пустил под нож важную
>корпоративную почту, при том несколько раз.Ложные срабатывания есть у всех.Чтобы недаже солидные коммерческие сервисы устанавливаются и настраиваются людьми :) если эти люди, например, испытывают неодолимую любовь к RBL - то подобное будет у них происходить регулярно. так что человеческий фактор тут, IMHO, важнее, хотя косяк в "солидном коммерческом сервисе" тоже не исключен. Я могу с уверенностью говорить только о себе, у меня с 2003 года все более-менее хорошо, несмотря на экспоненциальный рост количества спама :(
>профукивать почту - ее не надо фильтровать, но тогда придется искать
>в горах спама полезную почту.В общем все эти фильтры - донкихотство.Борьба
>не с причиной проблемы а со следствием с красочным выпусканием пара
>и рубками с ветряными мельницами.Нормальное решение - закопать SMTP нахрен и
>устроить редизайн старинного протокола.С поправками на современные реалии.о том, что было бы хорошо, а что нет, спорить можно долго. Но я не пишу стандарты, я эксплуатирую то, что есть. И революцию устраивать в своем маленьком королевстве не буду и не просите :) так что, каким бы это не выглядело с вашей стороны донкихотством, выбора на сегодня нет - приходится использовать smtp и бороться со спамом, с оглядкой на то, что 3-5% почты - это все-таки не спам, а очень даже важная переписка. Пока получается.
>>Простите.Я видел своими глазами как солидный коммерческий сервис пустил под нож важную
>>корпоративную почту, при том несколько раз.Ложные срабатывания есть у всех.Чтобы не
>
>даже солидные коммерческие сервисы устанавливаются и настраиваются людьми :) если эти люди,Как и было сказано выше - "не соответсвуют высоким стандартам нашей компании, разрабатывающей замечательный фильтр" ;)
>[оверквотинг удален]
>>и рубками с ветряными мельницами.Нормальное решение - закопать SMTP нахрен и
>>устроить редизайн старинного протокола.С поправками на современные реалии.
>
>о том, что было бы хорошо, а что нет, спорить можно долго.
>Но я не пишу стандарты, я эксплуатирую то, что есть. И
>революцию устраивать в своем маленьком королевстве не буду и не просите
>:) так что, каким бы это не выглядело с вашей стороны
>донкихотством, выбора на сегодня нет - приходится использовать smtp и бороться
>со спамом, с оглядкой на то, что 3-5% почты - это
>все-таки не спам, а очень даже важная переписка. Пока получается.
>даже солидные коммерческие сервисы устанавливаются и настраиваются людьми :) если эти
>люди, например, испытывают неодолимую любовь к RBLЕсли честно - я понятия не имею что использует например такая штука как Postini (они как-то не докладывают).Спам у корпоративщиков они гасят весьма прилично и за это их юзает немало толстых корпоративщиков, несколько раз сталкивался с этим фактом.Но порой под нож этого сервиса попадают и легитимные сообщения как делать нефиг.Хоть это и неслабый коммерческий сервис для бизнеса(вроде уже гуглевский кстати).
>косяк в "солидном коммерческом сервисе" тоже не исключен.
Это не "косяк в солидном коммерческом сервисе", это методика такая которая неизбежно палит себе в пятки.Даже если хорошо отладить - все-равно БУДЕТ пропускать часть спама и что хуже - БУДЕТ мочить и часть легитимных писем.Просто потому что однозначного способа отличить их в общем то нет а спамеры становятся все изворотливее.
>уверенностью говорить только о себе, у меня с 2003 года все
>более-менее хорошо, несмотря на экспоненциальный рост количества спама :(Ключевое слово - "более-менее".Когда система *#нет письмо от важного клиента - очень интересно, устроит кого-то мямление про "более-менее" или нет как оправдание данного факта?Что иронично - именно письма клиентов и шефов из ремотных локаций очень любят попадать под нож.Толи из-за стандартных стилей написания писем, которые спамеры разумеется очень жалуют толи еще почему.Лично я также регулярно сталкиваюсь с тем что сторонние спамодавки по жизни норовят грохнуть биллинговую информацию и прочие напоминания, сообщения от хостеров и т.п. - я конечно понимаю что спамеры часто под это косят но от этого не легче.
>с оглядкой на то, что 3-5% почты - это все-таки не спам, а очень даже важная переписка.
Согласитесь что это то же самое что в г%#не искать жемчужины?Найти можно но сложно и покопаться - придется.А вот пересылку тонн этого добра оплачиваем мы с вами из своего кармана.ИМХО это не есть нормальная ситуация когда полезную почту приходится добывать как радий.
Принцип электронной почты прост: каждый может поставить SMTP-сервер и отправлять почту без регистрации в неком общем регистрирующем органе. Какой бы другой протокол ни реализовал бы этот принцип - он будет подвержен спаму. Более того: спам может слать даже легальный пользователь, зарегистрированный где угодно; разница в том, что у него за спам могут отнять регистрацию.Сейчас основная проблема спама в том, что спам рассылается с зомбированных машин, которые ни разу не SMTP-серверы. Решение проблемы очень простое:
1) Провайдеры должны объединиться в антиспамовый консорциум и подписать обязательство, по которому SMTP-доступ (порт:25) наружу предоставляется только тем пользователям, которые реально запросили такой доступ (т.е. владельцам почтовых серверов). Машинам простых юзеров такой доступ д.б. закрыт.
2) Провайдеры консорциума должны закрыть SMTP-доступ со стороны провайдеров, которые не присоединились к консорциуму. Для начала можно ограничиться созданием DNS-BL, куда будут занесены такие провайдеры.
3) Пользователи сами начнут давить на провайдеров, требуя присоединиться к консорциуму.
>1) Провайдеры должны объединиться в антиспамовый консорциум и подписать обязательство, по которому
>SMTP-доступ (порт:25) наружу предоставляется только тем пользователям, которые реально запросили такой
>доступ (т.е. владельцам почтовых серверов). Машинам простых юзеров такой доступ д.б.
>закрыт.Еще раз: если юзер может слать спам, его может слать и спамер.Подумайте над этим до того как выдвигать ИДИОТСКИЕ наполеоновские планы.Ваш план создаст НЕРЕАЛЬНОЕ количество головняка юзерам, провайдерам и всем причастным.Ну а спамеры будут ехидно спамить через прововский сервер (а что им помешает это делать?) и ничего не изменится.Более того - ваши ТУПЫЕ наполеоновские планы никак не адресуют простой аспект: любой баклан может за скромную сумму регнуть домен, арендовать сервак в крутом датацентре с толстыми каналами и уж конечно там SMTP разрешен по определению(клиентам знаете ли надо - для легитимного использования, прикиньте?).Ну и начать с него валить спам во все стороны.И пока там это заблочат - бабло на аренду отобьется отнюдь не раз :).Ну-ка расскажите, что вы с этим делать намерены, г-н Наполеон, организатор консорциумов?А то как создать гемор другим вы придумали.А вот как сделать чтобы от этого гемора еще и эффект был - не факт.
>Нормальное решение - закопать SMTP нахрен и
>устроить редизайн старинного протокола.С поправками на современные реалии.Да-да-да, вот тут как раз таких умных целая коллекция http://some-wise-man.livejournal.com/90955.html
>Нормальное решение - закопать SMTP нахрен и
>устроить редизайн старинного протокола.С поправками на современные реалииЗамена SMTP на новый протокол, не поможет.
До тех пор пока у честных пользователей есть возможность отправки сообщений, такая же возможность будет у спамеров, потому что больше 50% всех пользовательских машин затроянены, и троян может отправить сообщение точно так же как это делает пользователь. Хоть по SMTP, хоть по новому супер модному протоколу.
Пока пользователи клюют на рекламу из спама и нет работающих законов против тех кто рассылает и закывает спам, он будет существовать. Независимо от используемых протоколов.
spamprobe - мелкий и шустрый
>spamprobe - мелкий и шустрыйНе смешно. spamprobe - это фактически один словарь на всех пользователей.
http://www.ironport.com/
Редкостное дерьмище! Ничего лучше http://www.borderware.com у буржуев нет!
>Редкостное дерьмище! Ничего лучше http://www.borderware.com у буржуев нет!А на чем основываетесь? Мы остались очень довольны после внедрения.
http://www.netcube.ru/support/test/testironport/
Пропускать через фильтр gmail'а и не ипать себе мозг...
>Пропускать через фильтр gmail'а и не ипать себе мозг...Вы предлагаете передавать переписку госструктур РФ американской корпорации?
Или gmail уже начал фильтровать без перадачи самого послания?
А что, все работают в госструктурах РФ ? O_o
Подавляющему большинству такая секретность не актуальна, зато фильтр учит большая команда и результат очень приличный.
Кому надоел спам и человек не параноик - самое оно.
Статистический фильтр и не обязан быть 100% точным, в качестве решающего арбитра при отсеивании писем его никто и не использует. Максимум что от него можно ожидать - предварительная сортировка писем по пользовательским ящикам, так что пользователь сам может решать оставить письмо в живых или удалить.У DSPAM есть(были?) свои плюсы, пока Zdziarsky им занимался он накидал туда много алгоритмов - кроме Graham там были и нейронные сети и аллгоритмы из CRM114. Ну и дополнительный плюс, что "ленивый админ" мог с помощью групп организовать работу так, чтобы неленивые пользователи сами копили статистику для ленивых.
Ну и конечно же C-код по скорости рвёт перловый ...
2 Timka:
Видать ты ленивый, но не до такой степени, чтобы правильно его настроить :)С момента последнего сброса:
1529 схвачено 29999 доставлено
84.803% схвачено 0.067% мимоЗамечательный проект!
Стратегию выбирайте правильную для шаред дата, и dspam_train иногда сурово помогает. 0.1% ложнопозитивных - это немного, имхо.
0.1% ложных срабатываний - это фатально. на потоке в ~10 млн сообщений (мой случай) это будет 10 тыс. ложных срабатываний в сутки! Пусть из этих 10 млн сообщений 90% спама - тогда 1000 нормальных писем будут ежедневно помечены как спам и уйдут в трэш. Я бы не проработал после такого и недели :) Еще раз говорю - для мелких контор оно кое-как годится - где весь спам можно пересмотреть вручную или настроить dspam именно под специфический поток почты конторы. Но когда речь заходит о более масштабных задачах - провайдер там, хостинг или просто контора с несколькими тысячами сотрудников и тысячами контрагентов в десятках стран мира - то все, проблема настроить и поддерживать dspam становится абсолютно бессмысленной задачей.
>[оверквотинг удален]
>(мой случай) это будет 10 тыс. ложных срабатываний в сутки! Пусть
>из этих 10 млн сообщений 90% спама - тогда 1000 нормальных
>писем будут ежедневно помечены как спам и уйдут в трэш. Я
>бы не проработал после такого и недели :) Еще раз говорю
>- для мелких контор оно кое-как годится - где весь спам
>можно пересмотреть вручную или настроить dspam именно под специфический поток почты
>конторы. Но когда речь заходит о более масштабных задачах - провайдер
>там, хостинг или просто контора с несколькими тысячами сотрудников и тысячами
>контрагентов в десятках стран мира - то все, проблема настроить и
>поддерживать dspam становится абсолютно бессмысленной задачей.Вы забываете про закон больших чисел. Чем больше статистика, тем меньше относительный вес флуктуаций. 0.1% флуктуаций получен на выборке какого размера (вопрос, разумеется, не к вам)?
грейлист с белыми списками, callout и DNSBL-ы вкупе неплохо справляются, отсекая процентов под 95 спама. Правда грейлист порой вносит задержку с доставкой, а каллаут отсекает криворуких админов...
Процент ложных срабатываний считается не от количества спама, а от полезных писем. Точнее, так:
Запускаем в фильтр сколько-то писем с заведомым спамом. По идее, антиспам должен их всех убить. Считаем процент пропущенных писем - это процент ложных пропусканий.
Запускаем в фильтр сколько-то заведомо полезных писем. По идее, антиспам должен их всех пропустить. Считаем процент задержанных писем - это процент ложных срабатываний.
>[оверквотинг удален]
>(мой случай) это будет 10 тыс. ложных срабатываний в сутки! Пусть
>из этих 10 млн сообщений 90% спама - тогда 1000 нормальных
>писем будут ежедневно помечены как спам и уйдут в трэш. Я
>бы не проработал после такого и недели :) Еще раз говорю
>- для мелких контор оно кое-как годится - где весь спам
>можно пересмотреть вручную или настроить dspam именно под специфический поток почты
>конторы. Но когда речь заходит о более масштабных задачах - провайдер
>там, хостинг или просто контора с несколькими тысячами сотрудников и тысячами
>контрагентов в десятках стран мира - то все, проблема настроить и
>поддерживать dspam становится абсолютно бессмысленной задачей.Айронпорт X-серии вас заждался уже, с таким потоком. :)
http://www.netcube.ru/catalog/CiscoIronPort/cseries/x1060/
Они заявляют 1 ложное срабатывание на миллион сообщений. Похоже, примерно таких показателей и достигают - с ручной подстройкой анализатора писем, конечно (не одним только фильтром по репутации). Причём есть карантины для каждого пользователя с доступом через веб, и куча других карантинов (безопасности, DLP и т.д.).
А зачем было покупать его в 2007 году, чтобы "резко затормозить развитие", а потом вообще бросить?
>А зачем было покупать его в 2007 году, чтобы "резко затормозить развитие",
>а потом вообще бросить?Может для этого как раз и покупали. Может это вообще подставная фирмочка, за спиной которой стоят компании, продвигающие свои коммерческие решения для фильтрации спама.
Надо на адреса этой Sensory Networks написать много критикующего спама :)
2 Timka
Еще раз, объясняю: за время использования (~ 2 года) у меня ни одно нормальное письмо не попало в спам. Главное, правильно настроить и отдать пользователю. Есть inoculation, dspam_train, и т.д. Дальше он сам должен принимать активное участие в настройке своего фильтра. Не хочет - пусть кушает спам.Просто не нужно так резко высказываться - "типа, туда ему и дорога". А рекламировать платные альтернативы Вам лучше в другом месте. Хотя наверняка, они используют скоммунизденные наработки того же DSPAM'а.
Вот Вы можете рассказать, как устроена эта хваленая система, которая обрабатывает ~10 млн сообщений?
Дык - миллион тимок-кунов сидит и вручную его :)
>Еще раз, объясняю: за время использования (~ 2 года) у меня ни
>одно нормальное письмо не попало в спам. Главное, правильно настроить иу вас лично, т.е. linked@domain.com? :) я же описал ситуацию и сложные моменты.
>отдать пользователю. Есть inoculation, dspam_train, и т.д. Дальше он сам должен
>принимать активное участие в настройке своего фильтра. Не хочет - пусть
>кушает спам.это неправильный подход. пользователь, в общем случае, должен быть избавлен от головной боли по обучению фильтра. если я скажу клиентам, что у нас появился сервис фильтрации спама, но для того, чтобы он заработал им нужно прошедший спам отсылать на один адрес, потом выковыривать из "вроде бы спам" нормальные письма и отсылать их на другой и так до тех пор пока dspam хоть чему-то не научится - я буду послан сразу и далеко. и клиент будет прав. сейчас у меня это выглядит так - клиент пишет письмо на support@ и просит включить на своя ящик фильтрацию с двумя вариантами - убивать спам сразу или помечать и отдавать ему. сначала все боятся и просят только маркировку, но после двух-трех недель понимают, что все хорошо и просят убивать спам на непосредственно сервере.
>Просто не нужно так резко высказываться - "типа, туда ему и дорога".
>А рекламировать платные альтернативы Вам лучше в другом месте. Хотя наверняка,
>они используют скоммунизденные наработки того же DSPAM'а.я не ничего рекламирую, как вы могли заметить, я специально удержался от каких-либо названий. наработки dspam, безусловно заслуживают внимания, но считать их уникальными и даже ценными я бы не стал. почему - я писал, на сильно недетерминированном потоке почты dspam работает плохо. если заставлять каждого пользователя самостоятельно обучать dspam, то возможно это как-то и улучшает его работу, но этот путь абсолютно неприемлем для больших структур.
>Вот Вы можете рассказать, как устроена эта хваленая система, которая обрабатывает ~10
>млн сообщений?она устроена очень просто - фильтр к постфиксу :) и обновляемая через инет база. как оно устроенно внутри - это ноу-хау производителя и, естественно, не разглашается, это не open-source.
>[оверквотинг удален]
>на сильно недетерминированном потоке почты dspam работает плохо. если заставлять каждого
>пользователя самостоятельно обучать dspam, то возможно это как-то и улучшает его
>работу, но этот путь абсолютно неприемлем для больших структур.
>
>>Вот Вы можете рассказать, как устроена эта хваленая система, которая обрабатывает ~10
>>млн сообщений?
>
>она устроена очень просто - фильтр к постфиксу :) и обновляемая через
>инет база. как оно устроенно внутри - это ноу-хау производителя и,
>естественно, не разглашается, это не open-source.А чего там интересного? Обычный словарь (может с полиномами), собранный заботливыми ручками подопытных хомячков с яндекс.ру ...
И про DSPAM у вас какие-то неправильные представления. Можно любому новому пользователю дать сразу статистику, включив его в merged-группу. А там пусть ее уже соврешенствует сам. Если пользователь работает через уеб-интерфейс, то ему будет достаточно на не понравившемся ему письме добавить галочку - "Пометить как спам".
>>она устроена очень просто - фильтр к постфиксу :) и обновляемая через
>>инет база. как оно устроенно внутри - это ноу-хау производителя и,
>>естественно, не разглашается, это не open-source.
>
>А чего там интересного? Обычный словарь (может с полиномами), собранный заботливыми ручками
>подопытных хомячков с яндекс.ру ...уважаемый, если все так просто - сделайте свое :) я плачу за это чудо десять килобаксов в год, если у вас будет не хуже по качеству фильтрации и производительности и при этом хотя бы на 20% дешевле - я с радостью буду платить эти деньги вам. и не только я :) беретесь?
>И про DSPAM у вас какие-то неправильные представления. Можно любому новому пользователю
>дать сразу статистику, включив его в merged-группу.нельзя. в том-то и дело, что dspam фильтрует не только гарантированный спам, но и то, что на него похоже. и если один умник научил dspam тому, что все приходящее в китайской кодировке - спам, то первый же мой клиент-китаец будет жутко недоволен. и так далее и тому подобное, примеров я могу привести десятки.
>А там пусть ее
>уже соврешенствует сам. Если пользователь работает через уеб-интерфейс, то ему будет
>достаточно на не понравившемся ему письме добавить галочку - "Пометить как
>спам".у меня нет и не будет веб-интерфейса, и я не буду предлагать пользователям обучать спам-фильтр - если он сразу не заработает как надо, то они от меня уйдут. к конкуренту :) всякого рода обучение годится только для бесплатных сервисов, за деньги люди хотят чтобы работало сразу. ну а редкие ложные срабатывания приходится фиксить вручную, но, как я уже написал, это бывает не чаще нескольких раз в год, да и в основном со всякого рода рассылками кривым софтом.
>уважаемый, если все так просто - сделайте свое :) я плачу за
>это чудо десять килобаксов в год, если у вас будет не
>хуже по качеству фильтрации и производительности и при этом хотя бы
>на 20% дешевле - я с радостью буду платить эти деньги
>вам. и не только я :) беретесь?http://dspam.nuclearelephant.com/contracts.shtml
А вообще, уважаемый, у Вас просто не было желания разбираться с настройками. Покупать словарь, собранный чужими руками, как правильно заметил geekkoo, Ваше право. Ну, да не в этом дело. Ваш случай - лишнее подтверждение, что завернутый в красивый фантик и умело раскрученный продукт в настоящее время побеждает. Это то, чего не хватает таким проектам, как DSPAM.
Повод задуматься, господа.
>>уважаемый, если все так просто - сделайте свое :) я плачу за
>>это чудо десять килобаксов в год, если у вас будет не
>>хуже по качеству фильтрации и производительности и при этом хотя бы
>>на 20% дешевле - я с радостью буду платить эти деньги
>>вам. и не только я :) беретесь?
>
>http://dspam.nuclearelephant.com/contracts.shtmlДругими словами, не беретесь. Что и требовалось доказать.
>А вообще, уважаемый, у Вас просто не было желания разбираться с настройками.
Я рад за ваше ясновидение, но если вы считаете что те $10k в год, которые платятся за более другие, чем dspam, решения я нахожу на дороге - вы глубоко заблуждаетесь. Просто есть разумный баланс между усилиями, требуемыми для того, чтобы продукт работал как надо и его ценой. Так вот, в случае с dspam нужно посадить несколько человек для допиливания логики его работы до приемлемой, и то не факт, что такое случится. при этом зарплата этих людей съест куда больше сэкономленных $10k в год на коммерческом продукте, работающем из коробки. Еще раз напоминаю - перекладывать все это на плечи пользователей абсолютно неприемлемо.
>Покупать словарь, собранный чужими руками, как правильно заметил geekkoo, Ваше право.
Ваша уверенность в том, что это всего лишь "словарь" подкупает :) Не поделитесь логикой, которая вас привела к подобным умозаключениям? Вот, например, обновления небезызвестной программы 1с, так же доступные через инет, помимо собственно каких-то баз, содержат и алгоритмы. Почему же в случае с спам-фильтром так не может быть? Но даже если вы и правы и это всего лишь словарь в нужной форме - в любом случае оно того стоит, поскольку это дает гарантированный результат. А у меня бизнес, мне нужно ехать, а не любоваться шашечками FSF/open source/etc.
>Ну, да не в этом дело. Ваш случай - лишнее подтверждение,
>что завернутый в красивый фантик и умело раскрученный продукт в настоящее
>время побеждает. Это то, чего не хватает таким проектам, как DSPAM.Увы, но тут вы опять пальцем в небо. Имеющийся у меня продукт я использую еще со стадии бета-версии, когда продажи осуществлялись крайне неохотно и только в обмен на сотрудничество в поимке спамеров :) Так что ни о какой "раскрученности" тогда даже речи не шло. Просто нужно было выбрать лучший и наиболее безгеморойный вариант, чтобы по-быстрому допилить до своей специфики и пустить в работу, не сажая на его поддержку нескольких человек. Естественно, в первую очередь был опробован весь доступный open source, к сожалению ничего достойного не оказалось. Вы всегда можете кивать на мои кривые руки или недостаток желания или еще на что, но я прислушаюсь к вашим словам только тогда, когда своими глазами увижу систему фильтрации на dspam, фильтрующую не менее 90% спама при уровне ложных срабатываний не более тысячной доли процента от общего числа сообщений. И при этом чтобы поток почты был хотя бы в десяток миллионов сообщений в сутки - при потоке в сто сообщений и я procmail научу отлично фильтровать спам :)
Так что маркетинг маркетингом, а профессионально сделанный и _поддерживаемый_ инструмент, пусть и платный, пока вне конкуренции. Единственная система из бесплатных, которая мне реально помогает сейчас - это greylisting, просто без него нагрузка на почтовые сервера стала совсем уж заоблачной и конца-края апгрейдам не видно было. Но даже из того, что проходит через greylisting все равно в себе несет не менее 90% спама, хотя абсолютные цифры и снизились почти на порядок.
>[оверквотинг удален]
>>
>>А чего там интересного? Обычный словарь (может с полиномами), собранный заботливыми ручками
>>подопытных хомячков с яндекс.ру ...
>
>уважаемый, если все так просто - сделайте свое :) я плачу за
>это чудо десять килобаксов в год, если у вас будет не
>хуже по качеству фильтрации и производительности и при этом хотя бы
>на 20% дешевле - я с радостью буду платить эти деньги
>вам. и не только я :) беретесь?
>Ага, Zdziarsky уже получил деньги.
>>И про DSPAM у вас какие-то неправильные представления. Можно любому новому пользователю
>>дать сразу статистику, включив его в merged-группу.
>
> нельзя. в том-то и дело, что dspam фильтрует не только гарантированный
>спам, но и то, что на него похоже. и если один
>умник научил dspam тому, что все приходящее в китайской кодировке -
>спам, то первый же мой клиент-китаец будет жутко недоволен. и так
>далее и тому подобное, примеров я могу привести десятки.Вот и приводите примеры, а не свои выдумки о том, как устроена работа DSPAM. Про одного умника - это полная ерунда. Если я подложу пользователю статистику набранную на хомячках с яндекса или на сбалансированном (спам/хам) корпусе китайской почты, то она будет срабатывать независимо от решений, принятыми членами группы.
>[оверквотинг удален]
>>спам".
>
> у меня нет и не будет веб-интерфейса, и я не
>буду предлагать пользователям обучать спам-фильтр - если он сразу не заработает
>как надо, то они от меня уйдут. к конкуренту :) всякого
>рода обучение годится только для бесплатных сервисов, за деньги люди хотят
>чтобы работало сразу. ну а редкие ложные срабатывания приходится фиксить вручную,
>но, как я уже написал, это бывает не чаще нескольких раз
>в год, да и в основном со всякого рода рассылками кривым
>софтом.
>уважаемый, если все так просто - сделайте свое :) я плачу за
>это чудо десять килобаксов в год, если у вас будет не
>хуже по качеству фильтрации и производительности и при этом хотя бы
>на 20% дешевле - я с радостью буду платить эти деньги
>вам. и не только я :) беретесь?
>все еще проще --- не надо выкидывать классифицированную почту... вы уважаемый имея подписку на мега продукт можете очень лихо продавать dspam-базы обученные на своем корпусе писем (если эти самые мегамиллионы писем у вас есть в реальности :). А чё? вернете деньги... мне за идею отчислите, вы же у нас всем деньги заплатить норовите?
>[оверквотинг удален]
>отдать пользователю. Есть inoculation, dspam_train, и т.д. Дальше он сам должен
>принимать активное участие в настройке своего фильтра. Не хочет - пусть
>кушает спам.
>
>Просто не нужно так резко высказываться - "типа, туда ему и дорога".
>А рекламировать платные альтернативы Вам лучше в другом месте. Хотя наверняка,
>они используют скоммунизденные наработки того же DSPAM'а.
>
>Вот Вы можете рассказать, как устроена эта хваленая система, которая обрабатывает ~10
>млн сообщений?Куда этому дспаму до айронпорта, хаха! Чтобы получить такие же низкие показатели по ложным срабатываниям как у айронпорта и аналогов (в мире есть ещё два схожих решения с репутационной фильтрацией, но не готовые appliance-ы, а чистый софт), чувакам придётся создать сеть типа SenderBase (или как у блю коат) и обрабатывать в ней сведения о трети мирового трафика почты. Анализатор текстов - это уже вторая, менее важная "линия обороны" в таких решениях, как у айронпорта и аналогов. И производительность как у AsyncOS тоже не получишь.
Я как использовал spamd от OpenBSD так и использую, на каждые 50000 сообщений 6 ложных срабатываний. И всё ваще паралельно.
Ну, вот, сижу я на mail.ru. Какой у них фильтр? Явно не DSPAM! А спам всё равно валится в мой ящик. Правильно тут многие говорят, что настраивать надо любые фильтры. Алгоритмы примерно одинаковые у всех. Всегда надо выбирать администратору стратегию фильтра - либо сомнительное письмо в урну, либо юзеру для разбора. То, что мне в ящик сыплют мусор, это тоже поток мимо фильтра. Так вот и решайте куда вам направить тот мусор который не попал под критерий оценки. А коммерческий или не коммерческий - один хрен. Всё в твоей голове!
>Ну, вот, сижу я на mail.ru. Какой у них фильтр? Явно не
>DSPAM! А спам всё равно валится в мой ящик. Правильно тут
>многие говорят, что настраивать надо любые фильтры. Алгоритмы примерно одинаковые у
>всех. Всегда надо выбирать администратору стратегию фильтра - либо сомнительное письмо
>в урну, либо юзеру для разбора. То, что мне в ящик
>сыплют мусор, это тоже поток мимо фильтра. Так вот и решайте
>куда вам направить тот мусор который не попал под критерий оценки.
>А коммерческий или не коммерческий - один хрен. Всё в твоей
>голове!Вопрос идет о ложных срабатываниях - false positives (нормальное письмо признано спамом). Тимка из-за них больше переживает. 10% false negatives его устраивает.
Терпеть mail.ru не могу. В моём воображении он ориентирован на сюсюкающих дамочек, листающих жёлтую прессу, смотрящих дневной эфир телевизора, но имеющих важную, красивую и престижную работу. Милашки, но их сложно терпеть. Ну, и на школьниц-ранеток, для которых главное - атнашэния, для них подобрана интересная реклама о свежих сплетнях и слухах. Терпеть не могут если кто-то не с ними. Убеждаюсь в этом, читая интервью, общаясь с пользователями... Так что спам вам, наверное, включают намерено... Сам на Яндексе, спам появился через полгода жизни ящика, ящик при этом активно повсюду выкладывается. 20 сообщений в месяц в спецпапке "возможный спам", 1 письмо в полгода в основную папку. Но его я исправно переношу куда надо. А у подруги по сотне и тоже стабильно, хотя она почти нигде не выкладывала ящик... Это как размер сосочка у девушки (смущаюсь), в один прекрасный день встанет или огромный, или небольшой. В папке "возможный спам" у меня лишь иногда нужное письмо, один раз за 12 лет нужное письмо пропало только! Наверное, дело в том, что я не зарегистрирован на diary.ru... Или её ящик стоит в самом начале списка и он первопроходец по новым спам-письмам и адресам... Короче, я Яндексом доволен. И эти 3 ящика на 1 логин... Позволяют регистрироваться на 1 сайте 3 раза. На почту без фильтра приходит 1200 писем в день. Я перестал проверять уже. Количество каждый день растёт.
раз уж петрушка про маил.ру пошла... регил как-то там ящик с фактически безсмысленным именем, что-то вроде: f4j345loe и использовал его только для дубль-пересылки почты со своего нормального ящика, что бы затем просматривать эту почту телефонным клиентом. Практически сразу же на маил.рушный ящик стал сыпаться спам, в открытых источниках ящик не появлялся, и даже smtp на телефоне не настроено, т.е. ни одного письма с него не уходило. Загадка...
типа услуга от маил.ру для спаммеров - "рассылка списков свежезарегеных ящиков! подпишись сейчас!" =)
>раз уж петрушка про маил.ру пошла... регил как-то там ящик с фактически
>безсмысленным именем, что-то вроде: f4j345loe и использовал его только для дубль-пересылки
>почты со своего нормального ящика, что бы затем просматривать эту почту
>телефонным клиентом. Практически сразу же на маил.рушный ящик стал сыпаться спам,
>в открытых источниках ящик не появлялся, и даже smtp на телефоне
>не настроено, т.е. ни одного письма с него не уходило. Загадка...
>Это называется подбор ящиков тупо... Даже если бессмысленное название логина и вы его нигде не светите, то со временем спамеры его внесут в базы, как существующий e-mail
На самом деле все проще. Расстреливать спамеров... Как в китае.. Украл много - расстреляли. Стал наркоманом - расстреляли. При том публично на стадионе. ПОэтому у них нету преступности и наркотиков. А наши бристы все телятся чего-то
>[оверквотинг удален]
>>безсмысленным именем, что-то вроде: f4j345loe и использовал его только для дубль-пересылки
>>почты со своего нормального ящика, что бы затем просматривать эту почту
>>телефонным клиентом. Практически сразу же на маил.рушный ящик стал сыпаться спам,
>>в открытых источниках ящик не появлялся, и даже smtp на телефоне
>>не настроено, т.е. ни одного письма с него не уходило. Загадка...
>>
>
>Это называется подбор ящиков тупо... Даже если бессмысленное название логина и вы
>его нигде не светите, то со временем спамеры его внесут в
>базы, как существующий e-mailПопиарю немного айронпорт, который мы продаём :) Там есть защита от перебора базы пользователей - Directory Harvest Attack Prevention, DHAP. Типа если у айпи-отправителя хорошая репутация, то он может чуть-чуть поперебирать, немного, правда :) А вот если плохая - то просто сброс tcp-сессии и гуляй, Вася. http://www.netcube.ru/support/ironport/emailgateways/
Очень обидно. Имхо лучший из бесплатных фильтров, не смотря на некоторую сложность в развертывании.
Тем не менее стоит уже несколько лет, обслуживает в общем несколько тысяч ящиков, пользуясь при этом 40 гиговой постгресовской базой. И все летает просто.Ложные срабатывания? Да, бывают. Но каждый пользователь наставивает и доучивает фильтр под себя, что помогает избавиться от ложных срабатываний для конкретного юзера. К тому же у каждого есть свой карантин, куда можно поглядывать.
И мне, как админу, приходится обращать внимание на DSPAM раз в год-полтора! (если не обновлять) и то только потому что надо сделить за БД.
В остальном все делается по крону.Можете предложить достойную альтернативу?
Буду искренне рад.
Не унывайте. DSPAM живее всех живых )