В интервью изданию "Веб-информ" (http://webinform.ru/interview/945.html), Игорь Ашманов рассказывает о новых технологиях появившихся в распоряжении спамеров, описывает методы имеющиеся в распоряжении борцов со спамом, подтверждает догадку (http://www.opennet.me/dev/spam_check/tech_notes.txt) о бесполезности DNSBL списков блокировки.В интервью всплывает два интересных факта: западные фильтры практически не фильтруют российский спам и в сети появился спам с графическим файлом во вложении, причем для каждого письма генерируется уникальное изображение.
URL: http://www.spamtest.ru/varticles.html?id=0052
Новость: http://www.opennet.me/opennews/art.shtml?num=3679
Угу. Ашманов намекает, я так понимаю, что единственная панацея от спама - это его замечательная программа? Ню-ню, ню-ню...Надо, правда, отдать ему должное - он единственный не убоялся большой руки Москвы и хотя бы попытался подать в суд на спамеров.
P.S. Моё мнение - как только таки провайдеры договорятся и сделают платный пиринг почтой - всё закончится (а такие разговоры ведутся).
Я вообще-то не намекаю, а говорю прямо. Спам на Mail.ru, RBC, Петерлинке, пр. фильтруем мы, Яндекс у себя в почте, Рамблер у себя, freemail - у себя и так далее.
Но решения в единственном экземпляре, для своего сервиса и тиражируемый продукт для корпоративного рынка - разные вещи. Продукт для русского рынка - пока ровно один, это наш Спамтест, он же Антиспам Касперского.
Западные фильтры русский спам почти не фильтруют. Да и свой-то фильтруют с пятого на десятое. Почитайте в интервью про ложные тревоги у лучших из лучших - это ужас какой-то.Если же поставить у себя байесовский плагин к Бату или к Аутлуку (см. http://klirik.narod.ru, например), и постоянно его подучивать, то и русский и западный спам можно зафильтровать с неплохим качеством у себя на дому. Но это для компьютерных людей, на любителя, в общем.
Угу, от только mail.ru пропускает тот спам, что поймал spamassassin+bayes... Странно правда?
А почему нигде не говорится о такой замечательной компании как TrendMicro и ее продукте Spam Prevention Solution? afaik очень неплохое решение и довольно широко используется провайдерами у буржуев. Знаю примеры внедрения в России, хвалят. Что _лично_ вы Игорь думаете о ней? Или эта тема специально умаливается? Точно так же как и spamassassin. Я конечно понимаю что можно поругать продукты "иных" производителей. Но может стоит выбирать достойных конкурентов?
>А почему нигде не говорится о такой замечательной компании как >TrendMicro и ее продукте Spam Prevention Solution? afaik очень неплохое >решение и довольно широко используется провайдерами у буржуев. Знаю >примеры внедрения в России, хвалят. Что _лично_ вы Игорь думаете о ней? >Или эта тема специально умаливается? Точно так же как и spamassassin. Я ?>конечно понимаю что можно поругать продукты "иных" производителей. Но >может стоит выбирать достойных конкурентовЧтобы взвешенно говорить о решении, нужно его серьезно тестировать.
Поэтому про TrendMicro ни слова не скажу.Я вот серьезно тестировал (и продолжаю тестировать) SpamAssassin.
Как основного конкурента нашему Spamtest, чтобы тестирование было
взвешенным - приходится использовать на реальной почте, чтобы и
усилия по настройке были реальными (ненастроенный меня больно пинает)Попытаюсь рассказать
1) После настройки и тренировки - продукт работает, причем очень неплохо.
Однако на настройку и тренировку нужно постоянно тратить время -
таки читать что он принял за спам, поправлять где ошибся и так далее.2) У меня переопределены веса 28(!) правил, причем всем им вес _понижен_
т.е. все переопределения происходили по ложным срабатываниям3) Основной вклад в качество вносит, естественно, bayes. Но у bayes-а есть очевидные проблемы идеологии - его нужно _вдумчиво_ тренировать для
каждого персонального потока почты (или для похожих потоков почты), а это время и ресурсы. Ассассиновский байес можно (и это периодически происходит) "перетренировать" - в некоторый момент качество начинает заметно падать. Это все нужно знать.4) Даже тренированый, bayes ошибается на "нехарактерной почте". У меня за последние пару месяцев случались ложные срабатывания на:
* важной бизнес-почте (word attaches) - 2 раза, оба раза потенциально
очень неприятных (закончилось занесением корреспондента
в белый список)
* регистрации на eBay, восстановлении пароля с eBay и т.п.
* price quotes c B&H
* списке литературы (текст - авторы/название/выходные данные)
Все разы - ошибся именно bayes, все 5 раз - это была важная почта,
которую терять не хотелось.Другими словами. SA - работает, но требует постоянного воспитания.
С учетом байеса - воспитание требуется отдельно для каждого пользователя
(или групп пользователей с общими интересами), причем тренировка bayes-а
задача вроде-бы несложная, но если в этом месте ошибиться, то последствия
будут понятными.Ну и по производительности. 5-10 писем в секунду у SA с сетевыми проверками (RBL, DCC, Razor) прожевать будет уже трудно
Тренд Майкро, насколько я слышал от его продавцов в России, имеет проблемы с фильтрацией русского спама, о чём я и говорил. Про антивирус Тренда можно почитать последнее исследование скорости реакции антивирусов от доктора Маркса из Магдебургского Университета, Тренд там далеко не в лучшем виде, как и Симантек, скажем. А скорость реакции - единственное, что сейчас имеет значение. А кнопочки там, средства администрирования - вторичны. У Нортона вообще по всем западным отчётам до 4% ложных тревог. Это нормально, как считаете?Короче, настоящие конкуренты другие - Brightmail, SpaAssassin. Brighmail довольно дорог, с русским спамом имет проблемы.
Что касается SpamAssassin, то у него как раз уровень детекции просто отличный. Это действительно сильный продукт, к тому же и бесплатный. Мы долго с ним соревновались в 2002-2003 гг. по уровню фильтрации, где-то с полгода назад обогнали.Но и у него есть свои дефекты:
а) Многочисленность, сложность и не очевидность настроек (под 1000 сложных правил). Если в компании есть опытный сисадмин со свободным временем на эти игры - тогда нормально.
В общем, как обычно - бесплатный софт съедает деньги на поддержке.
б) Настройки от версии к версии меняются, приходится снова настраивать.
в) Очень низкая производительность (результат последовательного приложения правил). Поставить на серьёзный поток его без специальных упражений или железа нельзя.СпамАссассин, например, используется в Корбине Телеком. У них сидят в смену сисадмины, всё время подписывают свои правила для русской специфики. Они рапортуют качество распознавания 60-70-80%, говорят, что уже и это хорошо. Ну, эта схема работает, если вы готовы платить зарплаты сисадминам за работу лингвистов и выделять железки.
У нас же другая схема: мы даём продукт "под ключ", а лингвисты у нас сидят круглосуточно и это наша ответственность. Мы боремся за последние 5%, ну и скорость - до 2 миллионов писем в сутки на одном сервере.Естественно, для тех, кто хочет сам поиграть,профили в Спамтесте/Антиспаме Касперского открыты, однако опыт показывает, что качество сильно улучшить настройками - нельзя, борьба со спамом уже стала высокопрофессиональным делом. Вы же не будете сами писать правила распознования вирусов. А вот создать неприятные ложные тревоги - можно, поэтому мы туда ручками лазить не рекомендуем.
Я понимаю, что на этом форуме может доблестью и крутизной считаться именно всяческий тюнинг софта. Для этого у нас есть SDK, API, плагины к почтовикам и так далее.
Не надо "ля-ля" - КАС тоже из коробочки нифига не ставится.
> Что это вы во всём видите рекламу. Меньше цинизма!Цинизма будет ровно столько, сколько посчитаем нужным (как и всего остального). Выпустили продукт, а критику не принимаете?... ;-)
Я, например, очень *цинично* отношусь к "фильтрации" SPAM'а на основании содержимого, ибо по меньшей мере, это похоже на то, как КУПИВ в магазине порченного молочка, плюс отплатив за "фильтратор", вы обнаруживаете оным "порченность" и сливаете "паленый продукт" в раковину. Деньги-то уже заплачены, тю-тю!...
А тут читаешь какой этот "фильтратор" навороченный, и такое молочко проверяет и этакое, и, причем, отечественное он вААбще классно тестирует, и какие только методики не использует, и не ошибается, пр-ки, при этом!...
Ну и как тут не быть циником, а?! ;-) "Купи слона!" (c)
Wrong way chosen, tovarisch!
SPAM нужно "гасить" как можно раньше. Ловушки, "серые списки", "списки открытых релеев", "проверка hostname" (многие затрояненные хосты отдыхают только по hostname типа dhcp, adsl, dial-up, etc.) и SPF -- вот ключевые слова (ПОКА)!
Дальше видно будет. А пока нам предлагают покупать "фильтраторы", лучше цинично изучать другие предложения. ;-)
/poige
--
http://www.i.morning.ru/~poige/
>по меньшей мере, это похоже на то, как КУПИВ в магазинеЗатраты на трафик меркнут, перед потраченным временем на удаления спама и проверку не оказалось ли в отфильтрованной почте нормальных писем и потерями из-за неполученного по ошибке или "утонувшего" в обилии спама.
>SPAM нужно "гасить" как можно раньше. Ловушки, "серые списки", "списки
>открытых релеев", "проверка hostname" (многие затрояненные хосты отдыхают
>только по hostname типа dhcp, adsl, dial-up, etc.) и SPF -- вот ключевые
>слова (ПОКА)!Сегодня эфективность этих методов стремится к нулю. Предлагаю провести простой эксперимент: на сутки полностью отключить фильтрацию на этапе соединения и сравнить объем спама пришедший с фильтром и без него. Проблема в том, что все больше и больше спама когда одному и тому же адресату пытаются отправить с разных машин, одной из них обязательно не будет в черных списках. Возврат "550 User unknown" тоже не помогает, похоже перебирают при любой ошибке, включая 4xx.
Серые списки пока работают, но они несут много неприятных побочных эффектов и рано или поздно спамеры их начнут обходить.
Решение же от spamtest.ru всем хорошо, кроме цены.... $10,000 в год на 10 тыс. ящиков ($1,500 за 500) или $20,000 на CPU это перебор.
>>по меньшей мере, это похоже на то, как КУПИВ в магазине
>
>Затраты на трафик меркнут, перед потраченным временем на удаления спама и проверку
>не оказалось ли в отфильтрованной почте нормальных писем и потерями из-за
>неполученного по ошибке или "утонувшего" в обилии спама."зри в корень". А если ты нагородил инфраструктуры для борьбы с последствиями N-о поколения, то "каждый сам кузнец своего гемора".
>
>>SPAM нужно "гасить" как можно раньше. Ловушки, "серые списки", "списки
>>открытых релеев", "проверка hostname" (многие затрояненные хосты отдыхают
>>только по hostname типа dhcp, adsl, dial-up, etc.) и SPF -- вот ключевые
>>слова (ПОКА)!
>
>Сегодня эфективность этих методов стремится к нулю. Предлагаю провестиПредлагаю не проводить, проводилось уже. И "к нулю" это ужасно далеко от
действительности.простой эксперимент: на
>сутки полностью отключить фильтрацию на этапе соединения и сравнить объем спама
>пришедший с фильтром и без него. Проблема в том, что все
>больше и больше спама когда одному и тому же адресату пытаются
>отправить с разных машин, одной из них обязательно не будет в
>черных списках. Возврат "550 User unknown" тоже не помогает, похожеКроме черных есть "серые". так что пофиг на эту проблему.
перебирают
>при любой ошибке, включая 4xx.
>
>Серые списки пока работают, но они несут много неприятных побочныхСдается мне, ты их ни разу не применял, кстати.
1-я проблема == задержка "пилотного" письма?
2-я?
...
N-я?эффектов и
>рано или поздно спамеры их начнут обходить.ну и что. все имеет свое начало и свой конец. Ты не знал?
>
>Решение же от spamtest.ru всем хорошо, кроме цены.... $10,000 в год на
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^на моем лице циничная ухмылка. ;->
>10 тыс. ящиков ($1,500 за 500) или $20,000 на CPU это
>перебор.
>Предлагаю не проводить, проводилось уже. И "к нулю" это ужасно далеко отПроведи сейчас, подобная технология только набирает силу. Еще пару месяцев назад такого небыло.
>Сдается мне, ты их ни разу не применял, кстати.
>
>1-я проблема == задержка "пилотного" письма?
>2-я?Проблема с приемом от кривых клиентов (cgi и прочие скрипты, некоторые системы рассылок, просто кривые MTA).
>>Предлагаю не проводить, проводилось уже. И "к нулю" это ужасно далеко от
>
>Проведи сейчас, подобная технология только набирает силу. Еще пару месяцев назад такого
>небыло.у меня никаких особых изменений в рез-тах защитных мер за последние несколько мес.: как пробивался мизер (от 2/3 SPAM-сообщений в сутки, до стольких же, за неделю, причем адрес "засвечен" давно и надежно), так все и осталось. А вот если выключу, то да, "вспомню все". :-)
>
>>Сдается мне, ты их ни разу не применял, кстати.
>>
>>1-я проблема == задержка "пилотного" письма?
>>2-я?
>
>Проблема с приемом от кривых клиентов (cgi и прочие скрипты, некоторые системы
>рассылок, просто кривые MTA).Мое мнение таково: проблемы с приемом от "кривых" клиентов (и MTA в том числе), это проблемы "кривых" клиентов. Что касается "некоторых систем рассылок", то WHITE LISTS никто пользоваться не запрещает. ;-)
/poige
--
http://www.i.morning.ru/~poige/
Про цену хочется сказать особо.Вот вы сами пишете, что основной расход на спам - это время удаления.
При $1 в год на пользователя (при 10000 пользователей) получается,
что _пользователю_ антиспам обходится примерно в 7.5 копеек в день.
При зарплате $1/час ($200/мес) - это эквивалентно примерно 20 секундам
рабочего времени, но на спам обычно тратят больше времени, да и зарплата обычно больше.Еще можно призвать сравнить с ценами на другие антиспам-решения, тот же
Brightmail хочет примерно $30/год с корпоративного сотрудника.
>При $1 в год на пользователя (при 10000 пользователей) получается,Да, для корпораций все нормально, но в системах массового обслуживания из 10000 ящиков лишь небольшой процент засвеченных, из них, в добавок, половина протухших и неиспользуемых. Но платить нужно за каждый ящик в системе. В итоге, статья дополнительных ежемесячных расходов в $1,000 не проходит, тем более что почта дается бесплатно в придачу к другим сервисам.
Схема по трафику более приемлима, но "rate limit" смущает.Пользователем считается email или майлбокс ? Как расчитывается случай когда в один ящик попадает почта для сотни email ?
>>При $1 в год на пользователя (при 10000 пользователей) получается,
>
>Да, для корпораций все нормально, но в системах массового обслуживания из
>10000 ящиков лишь небольшой процент засвеченных, из них, в добавок, половина
>протухших и неиспользуемых. Но платить нужно за каждый ящик в системе.
За протухшие или неиспользуемые - можно не платить, для них
фильтр будет прозрачным.
>В итоге, статья дополнительных ежемесячных расходов в $1,000 не проходит, тем
>более что почта дается бесплатно в придачу к другим сервисам.
>Схема по трафику более приемлима, но "rate limit" смущает.
Кроме rate limit есть еще traffic limit :)Для массовых систем (ISP) приемлема, по всей видимости, схема именно
по траффику. _Средний_ пользователь получает 10-20 писем в день,
то-есть 100000 писем в день - это 5-10 тыс пользователей. За $2k
в первый год/$1400 - в последущие. Если это дорого - то можно идти
путем Корбины - и иметь редакторов SpamAssassin на круглосуточном
дежурстве.>Пользователем считается email или майлбокс ? Как расчитывается случай когда в один
>ящик попадает почта для сотни email ?
Пользователем считается mailbox, если на одном mailbox много E-mail
их придется записать в системе лицензирования как aliases к mailbox,
число aliases неограничено. Доменных алиасов пока нет (но есть в TODO,
скоро появятся). dealiasing делает сам фильтр.
>>SPAM нужно "гасить" как можно раньше. Ловушки, "серые списки", "списки
>>открытых релеев", "проверка hostname" (многие затрояненные хосты отдыхают
>>только по hostname типа dhcp, adsl, dial-up, etc.) и SPF -- вот ключевые
>>слова (ПОКА)!> Сегодня эфективность этих методов стремится к нулю.
вы очень хорошо заблуждаетесь,
или сознательно пытаетесь убедить в этом общественностьфильтрация на основе узлов отправителя, приветствий, адресов дает очень неплохие результаты
сам реализовал такую схему:
1. Отвергаются неаутентифицированные сессии с модемных пулов (ppp, dsl и пр.)
2. Отвергаются сессии с поддельными приветствиями (вроде HELO mail.ru с узлов не имеющих никакого отношения к mail.ru)
3. действует система автообучения, которая пополняет как списки адресов отправителей так и списки ip-адресов
4. используются системы накапливающие списки IP-адресов (RBL, realtime blocklists)
5. отвергаются сессии с отсутствующими обратными адресами, либо немаршрутизируемыми адресами
6. отвергаются сессии когда удается выяснить что сервер отправителя не обслуживает заявленный обратный адрес
7. пополняются вручную базы как почтовых так и ip-адресов на основе писем пользователей с жалобами на спам и получаемые на служебные адреса
postmaster, root, abuse, hostmaster
8. все входящие и исходящие письма проходят антивирусную проверку.
9. все исходящие письма проходят этап аутентификации, таким образом становится возможным понять какие рабочие станции заражены вирусами, и даже в случае проникновения новых вирусов сервер никогда не распространял вирусную эпидемию дальше.
10. выдается временная ошибка на приветствия вида HELO nnn.nnn.nnn.nnn
11. автоматически пополняется белый списокнасчёт вашей т.н. "защиты" серверов mail.ru, yandex.ru -- то знаете, она никудышная, получаю десятки писем ежесуточно, причём с такими явными признаками спама, что просто диву даешься.
так что наверное не стоило бы делать подобных заявлений.
>5. отвергаются сессии с отсутствующими обратными адресами, либо немаршрутизируемыми адресами
>6. отвергаются сессии когда удается выяснить что сервер отправителя не обслуживает заявленный
>обратный адресИ какой у вас процент ложных срабатываний ? Процентов 30% наверное :-) Половина Ростелекомовских клиентов ходит без обратных адресов. Для собственно почты мы можем резать все что угодно, но для клиентов предоставлять такой сервис......
И не нужно пытаться меня переубедить, см. http://www.opennet.me/dev/spam_check/ через него у меня ловятся тысячи новых IP из западных сетей ежедневно, adsl/ppp и подобные явные вещи блокируются по маскам, плюс к этому привязан DSBL. Пол года назад - это было эффективно, пару месяцев назад эффективность стала падать. Разработчики Spamtest судя по всему тоже отметили эту тенденцию.
>7. пополняются вручную базы как почтовых так и ip-адресов на основе писем
>пользователей с жалобами на спам и получаемые на служебные адреса
>postmaster, root, abuse, hostmasterЧтобы руками сегодняшние объемы спама перебирать нужен отдельный работник.
>10. выдается временная ошибка на приветствия вида HELO nnn.nnn.nnn.nnn
Смысла нет, через таймаут у клиента HELO не изменится.
>насчёт вашей т.н. "защиты" серверов mail.ru, yandex.ru -- то знаете, онаВы мне отвечайте или спамтесту ?
Вы малость не так поняли отсутствующие обратные адреса,
речь не шла об отсутсвии записей в in-addr.arpaвсего лишь об отсутствующих доменах @fake.domain
и об адресах с якобы нормальных доменов, но про которые сервера, обслуживающие данные домены, могут сказать что адрес не обслуживается после команды RCPTа, забыл добавить, проверяются еще разного рода открытые релеи (smtp, telnet, socks, http)
по поводу mail.ru & yandex.ru, пардон, погорячился, не в Вашу сторону следовало адресовать свой восторг
переубеждать Вас я не собираюсь, всего лишь хочу сказать, что очень много можно сделать на стадии smtp
>А тут читаешь какой этот "фильтратор" навороченный, и такое молочко >проверяет и этакое, и, причем, отечественное он вААбще классно >тестирует, и какие только методики не использует, и не ошибается, пр-ки, при этом!...>Ну и как тут не быть циником, а?! ;-) "Купи слона!" (c)
Так возьмите на попробовать ? Ведь попробовать "за так" раздаем :)
>>А тут читаешь какой этот "фильтратор" навороченный, и такое молочко >проверяет и этакое, и, причем, отечественное он вААбще классно >тестирует, и какие только методики не использует, и не ошибается, пр-ки, при этом!...
>
>>Ну и как тут не быть циником, а?! ;-) "Купи слона!" (c)
>
>Так возьмите на попробовать ? Ведь попробовать "за так" раздаем :)я ж намекнул уже, что предпочитаю вовсе не покупать молоко у тех, кто продает кислое. Мысль проста: SPAM не должен приниматься вовсе.
/poige
--
http://www.i.morning.ru/~poige/
>я ж намекнул уже, что предпочитаю вовсе не покупать молоко у тех,
>кто продает кислое. Мысль проста: SPAM не должен приниматься вовсе.Ну если вы можете не принимать спам и одновременно - принимать не
спам (нет ложных срабатываний), то наверное Spamtest вам не нужен.
Антиспам Касперского? Побойтесь Бога, никогда больше не говорите о причастности к этому продукту. Более кривой программы под UNIX я не видела. Её кривость затмила даже желание проверить функциональность.
1. В пень ваш постфикс. Начиная от того что мне просто он не нравится, кончая тем, что вариант в КАС он даёт Core Dumped без видимых причин.
2. Конфигуратор у вас для врагов сделан - начиная беспарольным вэб-сервером "Сделай своими кривыми руками", заканчивая конфигурацией в XML...
3. Доки хотя бы в платных версиях никогда не пытались синхронизировать с дистрибутивом? Или это так принято теперь?
Замечания справедливые. Комментарии:
а) Причастность нас к этому продукту такая - мы делаем движок. Движок работает, спам фильтрует.
б) Вообще Вы, похоже, ругаете некую старую версию, где-то годичной давности. Постфикс никогда не был обязателен, а сейчас можете взять версию с плагинами для Exim, CGPro, Sendmail, etc. Напишите, кстати, Тутубалину, возьмите свежий Спамтест - 2.0. Там указаннаых проблем нет в принципе, потому что вебсервер там другой, настройки свои и так далее.
в) Доки к антиспаму мы синхронизуем, ЛК - видимо, не всегда.
>Замечания справедливые. Комментарии:
>а) Причастность нас к этому продукту такая - мы делаем движок. Движок
>работает, спам фильтрует.Субъективно, но нашли с кем работать. Хотя бы для имиджа руки им перешили чуточку выше, не так уж и сложно.
>б) Вообще Вы, похоже, ругаете некую старую версию, где-то годичной давности. Постфикс
>никогда не был обязателен, а сейчас можете взять версию с плагинами
>для Exim, CGPro, Sendmail, etc. Напишите, кстати, Тутубалину, возьмите свежий Спамтест
> - 2.0. Там указаннаых проблем нет в принципе, потому что
>вебсервер там другой, настройки свои и так далее.Да, тут купил человек КАС (antispam-1.5.0.12), попросил помочь поставить за денежку... Я уже пива больше выпила, чем денежки получила, после попыток привести всё это в божеский вид. Начиная от попыток совместить настройки постфикс и самого простого sendmail "из коробки", заканчивая борьбой с Segmentation fault on signal 11 этого самого postfix в бинарниках.
>в) Доки к антиспаму мы синхронизуем, ЛК - видимо, не всегда.
"Было бы за что - убил бы" (c) :)
Немножко не по теме, но раз ссылка на spam_check присутствует - то спрошу:Исправлена ли следующая проблема, а именно: проверка на дубли при формировании block_list. Уж больно надоело получать варнинги от postmap'а на "duplicate entry"
>Исправлена ли следующая проблема, а именно: проверка на дубли при формировании block_list.
>Уж больно надоело получать варнинги от postmap'а на "duplicate entry"Дубликатов в генерируемом блэклисте быть не должно, они могут возникнуть когда спам по блэклисту не блокируется и одновременно нарушена целостность или почищен хэш checked_ip.db. Если хост уже заблокирован (получил по логу reject) или IP проверялся ранее, вторичная проверка не производится. Более подробно разобрать возникшую проблему предлагаю по email.
>Более подробно разобрать возникшую проблему предлагаю по emailнаписал
ню-ню
Писать фильтры - безполезное занятие. Этим можно заниматься до посинения, а спамеры каждый раз найдут уловку чтоб обойти фильтр.
Конечно, для почтовых сервисов типа mail.ru это единственной способ угодить клиенту, но спама от этого меньше не будет.
Не чтоб подумать, как бы прикрыть саму возможность отправки письма куда либо, исключая нормальные деловые или личные письма..
>>> Писать фильтры - безполезное занятие.
Ну - ну ... жить вообще вредно ;-))Нет мер убрать спам на 100 проц ... но его можно уменьшить ... для организации пока наиболее эфективен spamassasian ... для дома Mozila (почтовый клиент) с тем же алгоритмом ....
вообщем вся жизнь борьба ...
В принципе нормально обученный Spamassassin со своей работой справляется, но иногда конечно проставляет в сабжекте слово ****SPAM****, но это скорее всего незначительные издержки...я думаю продукт, который рекламируется товарищем Ашмановым и партнерами, тоже иногда ошибается..., так что нет большой разницы между бесплатной программой и платной...
их продукт больше подходит для тех, которые не очень-то любят править конфиги спамфильтра...а про новый вариант спама еще осенью говорил, что спамерам ничего не стоит генерить текст в обычную картинку и рассылать электронным способом..., в принципе это уже давно и происходит...
против спама нужно бороться только административными методами....
больше вариантов почти не вижу, т.к. на любую хитрую ж.пу найдется свой вазелин :)
>я думаю продукт, который рекламируется товарищем Ашмановым и партнерами, >тоже иногда ошибается...,Ага. Загляните в talk.ru.mail.ru http://talk.mail.ru/forum/talk.ru.mail.ru, почитайте жалобы на антиспам.
Народ! Имею ящик на mail.ru, который, якобы, защищён вышеупомянутой поделкой. Меня достали письма следующего содержания (вольный пересказ):
Возврат от почтового сервера: адрес xxx@yyy.zz не существует.
Далее прикреплено письмо со спамом.
Как я понял, это новая технология спама: на какой-то сервер посылается письмо от моего имени на блокированный адрес. Далее МТА в течение определённого времени пытается доставить письмо, а после отправляет его якобы отправителю, т.е. мне.
При этом "поделка" считает, что это "серьёзное" письмо (Как же! Предупреждение от какого-то сервера!) и совершенно спокойно кладёт его ко мне в ящик.
Не-е-е-е-ет, ребята! Касперскому я, почему-то, доверять перестал ещё после того, как их саппорт на мой вопрос прислал мне pdf отсканированной инструкции, которая была приложена к совершенно лицензионному комплекту.
Может кому-то будет интересно, http://www.hashcash.orgHashcash добавляет к заголовку письма марки, и по ним мгновенно можно проверить их подлинность.
и еще, проверка заголовков hashcash есть в cvs-версии SpamAssassin'a
>Hashcash добавляет к заголовку письма марки, и по ним мгновенно можно проверить
>их подлинность.Ничто не мешает спамерам генерировать Hashcash для спам писем, все равно процессорное время затрояненных машин ничего не стоит. Т.е. до поры до времени как дополнительный "белый" фактор использовать можно.
Здесь уже высказывались о том что фильтрация почты на основе содержания это весьма спорный путь развития ПО борьбы со спамом. Первая проблема которая до сих пор не решена - это подлинность адреса отправителя.Почему-то никто не заостряет внимание на то, что в последнее время практически 100% спама валится с фальшивых адресов. Спам с реального адреса теперь никто уже не отправляет, поскольку такие действия очень легко пресекаются. На мой взгляд необходимо более активное создание, продвижение и реклама сервисов, которые позволяют подписывать письма (Микрософт на своем сайте предлагает использовать Verisign, GlobalSign, BT и Thawte). Анализ и фильтрация писем на основе подписей более простая задача чем то направление куда движутся производители антиспам фильтров (анализ текста, OCR - распознавание текста в изображениях и т.д.) Вот ссылка можете полюбопытствовать http://www.ealaddin.com/esafe/anti-spam.asp. Там даже распознавание порно-изображений добавлено.
Какие же вычислительные возможности нужно задействовать что бы проверять реально идущий почтовый трафик?
Далее, для того что бы отслеживать путь прохождения письма, почтовый сервер так же мог бы ставить свою цифровую подпись - какая-то аналогия с почтовым штампом.
Сначала немного от админа.
Считаю, что невозможно однозначно решить проблему отсеивания корреспонденции. Алгоритмы не работают на 100%.А пользователи не хотят, просто не хотят терять важную корреспонденцию.
Поэтому программный метод здесь никак, IMHO, не спасет.
Как было сказано выше только административными методами, только административными.
Полностью поддерживаю. СПАМ - это социальная проблема. Остальное - рекламные ходы. Кроме заявлений разработчиков пока нет никаких иных показаний против того что антивирусы способствуют вирусонаписанию, а антиспамы - рассылке спама. Есть сильная доля спама, которая вообще подписывается "я спам", что наводит на размышления.
Согласен.
Помните, как гитлер боролся с зайцами в транспорте?
Вот и спамеров надо прилюдно расстрелять десяток, без суда из следствия. И к чёрту демократию. Надо чтоб боялись.
>Согласен.
>Помните, как гитлер боролся с зайцами в транспорте?
>Вот и спамеров надо прилюдно расстрелять десяток, без суда из следствия. И
>к чёрту демократию. Надо чтоб боялись.
Точно! Браво! Дави гадов!
Обидно, что (немного не в тему) что мы (извините за делентантизм в философии и социологии) живем уже в ПОСТ-информационном обществе, то есть в обществе где главная ценность даже не информация, а возможность доступа к НЕЙ! Именно к НЕЙ, той что хочу, а не той что не хочу. Например почта (обычная московская, отделение 127644) уже не шлет уведомления о посылках - зачем? Ведь, можно сказать что "Вы выбросили уведомление вместе с рекламой", которой в мой почтовый ящик попадает ну, наверное, 99.99%. А за хранение невостребованой корреспогденции на почте берут немножко денег...
Ничего не напоминает?
А есть еще реклама в автобусе и в метро, коими имею удовольствие пользоваться. Получается что я слушаю почти 2 часа рекламы каждый день. Но я её НЕ ХОЧУ!!!!
Я это к тому что, как мне кажется, уже в мировом масштабе пора принимать закон ГЛОБАЛЬНОГО характера о защите информационного пространства. Как личного так и частного и корпоративного и ... государственного.
Стандартный овтет от противоположного мнения. Реклама в метро- тот же спам. Используется в основном для пропихивания левого залежавшегося товара, или фильм дешевый показать народу. Вообще не знаю людей которые реагируют на рекламу в метро/радио "адекватно". И товарищ прав, если нет нормального законодательства (сила, одобренная "моралью"), то увы, только другая сила может остановить спаммера, который есть суть паразит. Пора принимать закон. Уже как давно. Кстати, долгий путь. Я бы не стал заниматься спамом, если бы увидел рядом труп другого спаммера. Быстро, эффективно, без индульгирования насчет "моральности" и так очевидного факта.
Прям мафия какая-то.
Одни рассылают спам и зарабатывают денюжку.
Другие борются со спамом и зарабатывают денюжку.
Третьи торгуют трафиком и зарабатывают денюжку.
Да это вообще беда. Мафии вообще всё заполонили вокруг. Вот преступники воруют и зарабатывают денюжку. Менты их ловят и зарабатывают денюжку. А таксисты возят тех и других и тоже, представляете, зарабатывают денюжку.
Ещё иракцы воюют и получают деньги. Американцы их убивают тоже за деньги. СМИ про это пишут - за деньги. Все заодно.
Наоборот, продавцы водки продают людям водку. Люди от водки болеют, врачи их лечат. Потом люди умирают, гробовщики их хоронят. Они тоже все заодно.
Не страшно Вам жить в таком мире? Мне просто ужас.Надо это прекратить как-то. Поскольку спамеров и преступников не остановишь, то разорвать этот гнусный круг можно только с нашей стороны. Все менты и врачи должны уволиться. А мы перестанем фильтровать спам. Как хотите, я больше в мафии не работаю. Завтра фильтры на Mail.ru отключаем.
>А мы перестанем фильтровать спам. Как хотите, я
>больше в мафии не работаю. Завтра фильтры на Mail.ru отключаем.
Ой, как страшно....
тогда потеряете клиентов...
Давайте ! Сразу только скажите как будете с mail.ru эксперименты проводить - так в нелюбимый вами dnsbl его и закинем. В ordb он тут уже побывал на днях (интересноЮ, кстати - почему?).
Я понимаю цензура поработала и мой пост просто потерли ... ну да ладно ... ведь проверку все равно не сняли - вывод все это просто PR и все слова пустое.
>Я понимаю цензура поработала и мой пост просто потерли ... ну дада, но я, например, его помню. ;-)
>ладно ... ведь проверку все равно не сняли - вывод все
>это просто PR и все слова пустое.это-то фигня, а вот то, что на opennet.ru стерто сообщение,
которое не нарушало никаких норм приличия и общения... это "фу".
или "фуцк". как кому больше нравится. :-)/poige
--
http://www.i.morning.ru/~poige/
>это-то фигня, а вот то, что на opennet.ru стерто сообщение,
>которое не нарушало никаких норм приличия и общения... это "фу".
>или "фуцк". как кому больше нравится. :-)Без веских причин ничего не удаляется. Я помню что удалял какой-то пост. Возможно я просто промазал и не то удалил (мне в голову запало сообщение с темой фильтрации роботов и гитлером, про "проверку" ничего не помню).
Вместо обсуждения технологии, скатились до очернения компании "Ашманов и Партнеры", причем оперируя субъективными и внешними факторами и догадками, а не попробовав продукт в действии и не указав на конкретные недостатки.
>Я понимаю цензура поработала и мой пост просто потерли ... ну да
>ладно ... ведь проверку все равно не снялиКакую проверку ? Если мне не изменяет память, я удалял сообщение граничащее с оскорблением.
>- вывод все
>это просто PR и все слова пустое.Насколько мне известно, разработкой спамтест занимаются известные и высококлассные специалисты. Без демонстрации фактов я не поверю, что из их рук мог выйти плохой продукт. Мне не хотелось бы чтобы беспочвенные обвинения привели к деградации линии обсуждения.
Незнаю как вам, а мне их продукт очень интересен с точки зрения реализованных в нем технологий.
>>Я понимаю цензура поработала и мой пост просто потерли ... ну да
>>ладно ... ведь проверку все равно не сняли
>
>Какую проверку ? Если мне не изменяет память, я удалял сообщение граничащее
>с оскорблением.Налицо предвзятость, Макс.
Там не было ни намека на осокрбление. Там было сказано, что за слова
нужно отвечать.
>
>>- вывод все
>>это просто PR и все слова пустое.
>
>Насколько мне известно, разработкой спамтест занимаются известные и высококлассные специалисты. Без демонстрации
>фактов я не поверю, что из их рук мог выйти плохой
>продукт. Мне не хотелось бы чтобы беспочвенные обвинения привели к деградации
>линии обсуждения.Основа любого классного продукта это идея. Реализацию "тетрис", в которую можно будет увлеченно играть, наваяют и профи-кодер, и студент 2-о курса. Но разница между ними в профессионализме не обуславливает главного -- создания *идеи* классной игры. "Серые списки", или тот же SPF, это идеи гораздо большей степени значимости, чем то, что предлагается Ашмановым к покупке.
>
>Незнаю как вам, а мне их продукт очень интересен с точки зрения
>реализованных в нем технологий.ну дык напиши им об этом почтой. А тут, на форуме, ты опубликовал это для того, чтобы это обсуждалось. И оно обсуждается, как обсуждается и реакция на обсуждение.
/poige
Ну, ладно. Пусть серые списки и верификация отправителя - это грандиозные идеи. Как только эту верификацию реализовать и навязать 500 миллионам пользователей - пока не сказали. Ну, так ведь на то и идея.
Поскольку вы, скорее всего особо не разбирались, что там "Предлагается Ашмановым к покупке", скажу пару слов, ладно?
а) основная идея фильтрации - что спам автоматически отличить от не-спама нельзя. В частности потому, что для разных пользователей "спам" означает разное.
А ещё потому, что на той стороне - очень умные и хорошо вооружённые люди. Всякие роботы победить людей не могут, для защиты нужны тоже люди. Это основной принцип безопасности.
Поэтому создана круглосуточная лингвистическая лаборатория. Там сидят ночные лингвисты, в задачу которых входит простое решение вопроса "спам/не спам" относительно образцов. Поток образцов нераспознанного спама - 100-200 тысяч писем в сутки. А всего в Рунете мы фильтруем 10-20 миллионов писем в сутки в зависимости от погоды в сети.
"Дневные" же лингвисты заняты более интеллектуальным трудом и пишут правила и эвристики.б) Сам продукт применяет основной метод автоматической классификации документов по теме. Всего мы распознаём 550 тем спама. Дополнительные методы такие:
а) анализ заголовков (отправитель, прочее).
б) чёрные списки,
в) детектор массовости (модифицированный DCC),
г) сигнатуры (лингвистические свёртки писем),
д) графические сигнатуры нескольких видов, в том числе нечёткие,
е) правила наподобие Спамассасина,
ж) извлечение URLs,
и так далее. Все эти методы - независимы друг от друга, а значит, необходимы.Конечно, всё это фильтрация по сообщению. Процедурные же методы типа SPF или серые списки трудно применить на массовых сервисах, а они и есть главная мишень спамерв.
Что касается электронных марок и прочего - это административные идеи, про закручиваение гаек, не вижу в них никакой гениальности и даже перспектив. Ну, что можно крикнуть про смену SMTP, а толку-то?
Вообще трудно сравнивать классные идеи и работающий сервис. Мы защищаем почти десять миллионов пользователей в Рунете. Если вдруг заработает какая-то процедурная идея и спама станет убывать, мы с удовольствием это небо отдадим подержать кому-то другому, у нас других идей полно.Воспоминание про Тетрис: Лёша Пажитнов приходил к нам на семинар в Отдел искусственного интеллекта ВЦ РАН в начале 80-х (а вообще он работал в ВЦ в соседней двери, мы ездили на картошку вместе и т.п.). Он тогда рассказывал, как по его мнению стоит делать игры. Я помню, что над ним посмеивались всякие психологи, которые при семинаре тусовались, но он потом сделал Тетрис, а они ничего не сделали. А собственно саму игру написал школьник Герасимов, который ходил к Лёше программировать.
Правда, в Штатох новые игры у Лёши уже как-то не пошли, и он теперь в Микрософте.
Уважаемый multibugs, вы что - шуток не понимаете?
Ну как это мы снимем проверку? Там в день несколько миллионов спамерских писем блокируется. Теперь их взять и доставить пользователям? Да они взвоют и закроют ящики на этой почте.
Я про увольнение по сосбтвенному желанию из мафии и остановку фильтрации - просто пошутил в ответ на Ваш постинг, что спам выгоден провайдерам и тем, кто делает фильтры, и кругом мафия. Ну да, кругом измена, а дворники по ночам разбрасывают мусор, чтобы оправдать свою зарплату.И по поводу того, что на Мыле и Яндексе спам пролезает, и так далее.
Фильтры-то уже снять нельзя. Если у вас пролезает несколько писем в день и они раздражают вас, то после отключения фильтра их будет под сотню.
> Уважаемый multibugs, вы что - шуток не понимаете?Все прекрасно я понимаю, даже отличаю скрытый подтекст, если конечно сам текст мне интересен, как интересна и его история (например обсуждение). К сожелению текст набранный мной, для этого поста, я потер (так вышло), то повторно я скажу кратко.
1. Потерли пост - мне всеравно - я редко пишу в конференциях - у меня есть куда потратить время.
2. Есть смайлики - их всегда забывают ставить даже в явных случаях. Я умышленно не поставил его в ответ на отключение фильтарции. Результат посчитали пост оскорблением. хотя я бы в таком случае посчитал другой пост оскорблением и шантажем пользователей. Максу привет 8)
3. Каждый должен заниматься своим делом. Есть люди пишущие "антивирус", есть люди пишущие "антиспам" - пусть они это делают. Если у клиентов есть деньги и они считают что им дешевле купить продукт - а на высвобожденное время заработать еще кучку "переработанной и покрашеной древесины" я рад за них, но не надо забывать что есть люди которым накладно купить - им выгодно свое сделать ( по разным причинам, не только по наличию денег) - это их путь.
4. есть два решения в борьде со спамом - распозновать и устранить. Вот пример. Платежка - есть два решения распозновать и закодировать. В ЦБ распознают?! - есть неточности - в Гута банке драйвер печати - печатается на платежке штрихкод (pdf478? не помню код) и на сканере считывается уже все готовое. так сказать исключено одно лишнее звено .....
Все это образно и сравнимо.5 и последнее а фильтр не отключен 8).
>Прям мафия какая-то.
>Одни рассылают спам и зарабатывают денюжку.
>Другие борются со спамом и зарабатывают денюжку.
>Третьи торгуют трафиком и зарабатывают денюжку.ДА!!!
А четвертые - НИЧЕГО не делают!! И именно этим - тоже зарабатывают денюжку.
Да, а есть еще и пятые - они придумывают новые информационные фигни, которые и создадут, в последствие, рабочие места для первых, вторых, третьих и четвертых. А пятые на этом уже зарабатывают!..
А может правда - взять и перестать фильтровать?
Может это кризис технологии?
SMTP vs. POP3 УМЕР! Да здравствует ...!
Не знаю, не знаю ...
По мне, так законами можно всё исправить.
К примеру, закрепить IP-адресс.
Захотел я с сотового в Инет ходить (как сейчас) - пошел в МТС, зарегистрировал IPшник и теперь все (или силовые ведомства) знают - хто ж это такой, а?
Очевидно, что рекламный бюджет предприятий ограничен, так что все средства реклами (ТВ, радио, WWW-банеры, спам) делят общий пирог. =>, у нас (жертв спама) есть "естественный союзник" в борьбе со спамом - это все законные рекламщики. Так что если объяснить законным рекламщикам (лучше всего ТВ - это самое массовое СМИ), что они теряют заказчиков из-за того, что спамеры отъедают часть рекламных бюджетов, то можно (и нужно) будет провести широкую разъяснительную работу среди широких слоёв мелких предпринимателей, ещё не знающих о негативных последствиях спама.К сожалению, провайдеры не слишком торопятся закрыть прямые SMTP-соединения от клиентов, объясняя это тем, что клиент заплатил за Internet и волен делать всё что хочет (хотя я не уверен, что клиент хочет рассылать вирусы).
А для борьбы с открытими релеями я предлагаю закидать их админов таким количеством требований закрыть релеинг, чтобы они такИ закрыли! :-)
>К сожалению, провайдеры не слишком торопятся закрыть прямые SMTP-соединения от клиентов, объясняя
>это тем, что клиент заплатил за Internet и волен делать всё
>что хочет (хотя я не уверен, что клиент хочет рассылать вирусы).
>
>
>А для борьбы с открытими релеями я предлагаю закидать их админов таким
>количеством требований закрыть релеинг, чтобы они такИ закрыли! :-)Меня ukr.net как-то проверял насчет open-relay. Я налаживал почту у себя на работе, в том числе и SMTP (пакет DMail), и запускал тестовые письма на свой ящик на freemail.ukr.net. Так они туда не доходили, а потом от них пришло письмо, что "Извините, ваш SMTP есть open-relay, ничего от вас принимать не хотим, закройте дыру, тогда будем работать". Заглянул в лог SMTP, а там написано, что они пытались через меня что-то отправить с одного своего ящика на другой. Мой SMTP ответил на это "no у вас permissions", но им этого окзалось мало. Перекрыл 25-й порт снаружи - через полчаса все заработало. А Яндекс и mail.ru так не проверяют, туда все доходит.
То что предлагают сейчас на рынке антиспама - есть ликвидация последствий болезни SMTP-протокола. Почему никто не упомянул о том, что ликвидируя последствия нельзя победить эту болезнь?
Пользователи не хотят получать спам и даже платят за это деньги. Удовлетворить спрос - один из основных законов бизнеса. Спамеры всегда на один шаг впереди антиспамеров. Но, как это не цинично, антиспамерам выгодно быть позади, пока есть спамеры, у них всегда будет работа, причем очень хорошо оплачиваемая.
Как заметил господин Nikolaev D.,
все с этого имеют денежку:
спамеры, антиспамеры, провайдеры и т.д.
А платит кто? Пользователь.Так что решение проблемы лежит совсем в другой плоскости и решать ее полностью невыгодно антиспамерам, так же как и антивирусным компаниям решать полностью проблему вирусов.
Все приведенное выше является моим частным мнением.
>То что предлагают сейчас на рынке антиспама - есть ликвидация последствий болезни
>SMTP-протокола. Почему никто не упомянул о том, что ликвидируя последствия нельзя"идеал недостижим", слышали такое выражение?
Любое поделие человеков ими же никогда идеальным не признается, в нем
находят изъяны...На самом деле, вместо того, чтобы на протокол пенять, можно было бы пенять на обс-ва ISP-рынка. Когда-то ранее ВЕСЬ ИСХОД. ТРАФИК
(да, это слово пишется с одной "Ф") БЫЛ ПЛАТНЫМ. И СПАМа не было (не только, и не столько поэтому, кстати). Но потом...
Nikolaev D. действительно же очень кратко-емко подметил. ;-)Просто стоит честно сказать себе, что времена, когда сеть Internet была Сетью (а именно в это время придумали SMTP), проходят (прошли?). Сеть с большой буквы сломали. НЕ изощренно "хакнули", а именно cломали, банально-вандально. Как новые юзователи, так и новые провайдеры. Деньги пришли и принесли с собой все те болячки, которые с ними неотрывно, но это реальность, как не крути. Хотите что-то исправить? Я так и не понял, из вашего сообщения, что -- SMTP или капитализмъ? :-)
[...]>А платит кто? Пользователь.
Если посмотреть вокруг, то это открытие придется признать запоздалым. ;-)
>
>Так что решение проблемы лежит совсем в другой плоскости и решать ее
[...]
>
>Все приведенное выше является моим частным мнением.Обычно, так всегда. ;-)
/poige
--
http://www.i.morning.ru/~poige/
Вчера для интереса разблокировал фильтр на старом почтовом ящике mail.ru, до этого на все письма их почтовик отвечал, что не существует данный адрес...
т.к. мой адрес уже давно находится в базах спамеров...
и к своему удивлению, за ночь получил 8 писем спама и один из лучших антиспамфильтров их пропустил, а не пометил как спам.
Да, понятно, что восемь писем пролезло. Вопрос в том, сколько фильтр НЕ пропустил. У меня например, на Спамтесте такое соотношение: за неделю с прошлой пятницы спама 2161, подозрительных писем 257, пропущенного спама 135 (я его ручками откладываю в спецпапку для статистики). Ещё формальных писем, то есть квитанций о доставке/недоставке/прочтении разных - 354.
По-моему, процент неплохой.На Мыле у нас в среднем процент 85-95 в зависимости от ввода спамерами новых технологий. Иногда пробивает массово, потом наоборот, почти никто не проходит. В срднем в 10 раз мы давление снижаем.
Надо ещё заметить, что мы отвечаем не за всю фильтрацию на Mail.ru - у админов Мыла есть свой RBL, который стоит ДО нашего фильтра.
Кстати, вообще-то жалоб в форуме на удивление мало для такой массы пользователей, а вот жалобы спамеров (см. ссылку выше) - показательны.
Раз уж зашла речь о конкретных цифрах, скажите, господин Ашманов, какой процент НУЖНЫХ писем помечается как спам?
Антиспамерские системы, насколько вы знаете, характеризуются не только % отлавливания спама, но и % ложного срабатывания.
Раз было сказано А, скажите уж и Б тогда :)
А зря Вы так подковыриваете Игоря. При всё моём внутреннем сопротивлении чисто морально платить за антиспам, тут я с вами не соглашусь.Давайте в студию методику оценки. А главное - почему именно эту методику Вы считаете объективной? По каким экспериментальным данным это можно смотреть? Почему именно эти данные можно назвать объективными?
Да никак Вы это не сделаете...
>Раз уж зашла речь о конкретных цифрах, скажите, господин Ашманов, какой процент
>НУЖНЫХ писем помечается как спам?
>Антиспамерские системы, насколько вы знаете, характеризуются не только % отлавливания спама, но
>и % ложного срабатывания.
>Раз было сказано А, скажите уж и Б тогда :)Наша оценка - порядка 10E-05..10E-06, более точную оценку дать по всему
потоку трудно (ложные срабатывания на том же mail.ru мы видим по
жалобам на ложные срабатывания, но каков процент жалобщиков - можем
только предполагать c некоторой точностью).
Допустим что 10E-05, прикинем, что жалобщиков процентов 5(в лучшем случае), получается одно письмо на 5000.
Неплохо, по сравнению с другими системами, чтобы так настроить спамасасина нужно потратить куеву тучу времени :)
Хотя все равно много, на 1 к 100000 я может и согласился бы еще, хотя иногда приходят очень НУЖНЫЕ письма, которые просто нельзя терять, это как ключик от сейфа.. :)
Да и потом, подключение еще одного звена(сотрудники лаборатории), которые в принципе могут читать вообще все приходящие письма. Как-то к ним доверия немного.
Кстати, а как загрузка там?
Ведь чем больше правил запрета, тем больше загрузка, не боитесь упереться в предел возможностей hardware с выбранным подходом?
1. Вообще мы считаем, что нормальный процент - одно письмо на 100 тысяч.
При этом нужно делить ложные срабатывания на критические (деловые и личные письма) и некритические (рассылки, новости). На некритических можно допустить и 1 срабатывание на 1000, поскольку некоторые подписные рассылки очень трудно отличить от спама, столько там всякой рекламы.2. Ну, наши лингвисты не могут читать всю приходящую почту - они же её не видят. Они читают ЖАЛОБЫ ПОЛЬЗОВАТЕЛЕЙ - письма, приходящие по нажатию кнопки "пожаловаться на спам". И то не все.
3. Что касается нагрузки, то мы фильтруем примерно 1,5 миллиона писем в сутки на одном среднем сервере (четвёртый пентиум с полугигом памяти). Этого хватает даже Mail.ru (правда, там десять фильтрующих серверов), а уж для обычной компании позволяет обслужить на одной машине минимум 5000 активных пользователей (по 200-300 писем в день на одного). Это хорошая цифра, причём с развитием фильтра производительность не падает, а растёт - движок улучшается.
>2. Ну, наши лингвисты не могут читать всю приходящую почту - они
>же её не видят. Они читают ЖАЛОБЫ ПОЛЬЗОВАТЕЛЕЙ - письма, приходящие
>по нажатию кнопки "пожаловаться на спам". И то не все.Подождите, Вы же сами писали, что ценность Вашего продукта как раз и состоит в 24-часовом дежурстве лингвистов, состовляющих шаблоны для писем спама?
Некстати, а можно ли разделить сервис 100% (пусть и с небольшим процентом фильтрации) и "может быть спам" - во-первых, можно диск сохранить вышвырнув ненужное сразу, во-вторых, по "100% спам" можно хуки ставить (если клиент типа продвинутый).>3. Что касается нагрузки, то мы фильтруем примерно 1,5 миллиона писем в
>сутки на одном среднем сервере (четвёртый пентиум с полугигом памяти). Этого
>хватает даже Mail.ru (правда, там десять фильтрующих серверов), а уж для
>обычной компании позволяет обслужить на одной машине минимум 5000 активных пользователей
>(по 200-300 писем в день на одного). Это хорошая цифра, причём
>с развитием фильтра производительность не падает, а растёт - движок улучшается.
Игорь, Вы заговорились :) 5000x300=1,5 миллиона :) Я не знаю обычных компаний с таким почтотрафиком :)
>Подождите, Вы же сами писали, что ценность Вашего продукта как раз и
>состоит в 24-часовом дежурстве лингвистов, состовляющих шаблоны для писем спама?Да, ровно это я и говорю. Вот они и сидят, анализируют спам-трафик. Вы же не думаете, что они письма пользователей Mail.ru или Петерлинка читают - 15-20 миллионов в день? Это нужно пару десятков тысяч чтецов, минимум.
А зачем им нормальные письма, подумайте сами?
Они собирают потоки свежего, нераспознанного спама из многих источников (100 тысяч в день) и работают с ними.>Некстати, а можно ли разделить сервис 100% (пусть и с небольшим процентом
>фильтрации) и "может быть спам" - во-первых, можно диск сохранить вышвырнув >ненужное сразу, во-вторых, по "100% спам" можно хуки ставить (если клиент >типа продвинутый).Так у нас и есть разметка разной степени уверенности. Точно спам, возможный спам и так далее. Сходите на Спамтест, почитайте описание.
>Игорь, Вы заговорились :) 5000x300=1,5 миллиона :)
> Я не знаю обычных компаний
>с таким почтотрафиком :)Нет, не заговорился. Да, 5000*300 - это и есть полтора миллиона. Как я сказал, ровно столько мы и обрабатываем в сутки на одном сервере. Почитайте на Спамтест подробный отчёт о производительности фильтра.
А я, представьте, знаю компании с таким трафиком. Я думаю, все компании, входящие в Fortune500, к ним относятся.
>Да, ровно это я и говорю. Вот они и сидят, анализируют спам-трафик.
>Вы же не думаете, что они письма пользователей Mail.ru или Петерлинка
>читают - 15-20 миллионов в день? Это нужно пару десятков тысяч
>чтецов, минимум.Запутали, но ладно :)
>>Некстати, а можно ли разделить сервис 100% (пусть и с небольшим процентом
>>фильтрации) и "может быть спам" - во-первых, можно диск сохранить вышвырнув >ненужное сразу, во-вторых, по "100% спам" можно хуки ставить (если клиент >типа продвинутый).
>Так у нас и есть разметка разной степени уверенности. Точно спам,
>возможный спам и так далее. Сходите на Спамтест, почитайте описание.Понятненько. Надо посмотреть на несчастный КАС, вроде он там чего-то шурует, просто как-то неприятный осадок остался.
>>Игорь, Вы заговорились :) 5000x300=1,5 миллиона :)
>> Я не знаю обычных компаний
>>с таким почтотрафиком :)
>Нет, не заговорился. Да, 5000*300 - это и есть полтора миллиона. Как
>я сказал, ровно столько мы и обрабатываем в сутки на одном
>сервере.А, всё, теперь понятно.
> Почитайте на Спамтест подробный отчёт о производительности фильтра.
>А я, представьте, знаю компании с таким трафиком. Я думаю, все компании,
>входящие в Fortune500, к ним относятся.А что такое Fortune500 и как оно кореллирует с отождествлением этих компаний с "обычными"? :)
Просто забавно - все известные мне обычные компании (до статистики которых я так или иначе имела доступ) если имеют 1000 писем в день - то это уже прогресс.
Интересный тред про фильтры на mail.ruhttp://forum.carderplanet.cc/index.php?s=c2973e52240b0942fea...
Кстати, если бы таких п***ров убивали до рождения, спама былоб гораздо меньше:08.04.2004 16:13:22 | Должность: СПАМЕР- ПРОФЕССИОНАЛ В ИНТЕРНЕТ КОМПАНИЮ
Раздел: Информационные технологии и Интернет
Работодатель: Прямой работодатель
Город: Москва
Пол: Муж
Возраст: от 22 до 30
Образование: Высшее
Опыт работы: 2 года
Занятость: Любая
Зарплата: 1000 $ в месяцТребования:
РАБОТА В ИНТЕРНЕТ КОМПАНИИ "ВЗЛЕТ РАКЕТЫ" ОФИС М.НОВ ЧЕРЕМ, ОТЛИЧНЫЕ ЗНАНИЯ СПАМ ФИЛЬТРОВ, СОКСОВ, ПРОГРАММ ПО РАССЫЛКЕ , HTML FREEBSD, CGI, FTP И ДР НАВЫКИ ПО РАСКРУТКЕ САЙТОВ , ЗВОНИТЬ МОЖНО В ВЫХОД ДНИ ДО 21 ЧАСА.
Контактное лицо: Андрей Валерьевич
Телефон: 735-82-27
E-Mail: 245300@mail.ru
ID Вакансии: 6170359Найдено на job.ru
dawnshade:
> Кстати, если бы таких п***ров убивали до рождения, спама былоб гораздо меньше:Кажется, из Вишневского: "Уж лучше б их отец предхранялся!" :-)
Инструкция по дальнейшим действиям:
1) Убедиться, что это действительно их объявление.
2) Закидать их звонками и письмами со всякой фигнёй. Можно послать самопального трояна, которого не отловят антивирусы. Можно отредиректить туда весь спам, который ловится на mail.ru (это к Игорю Ашманову).
B.O.B.A.H.:
> А если ISP будут запрещать по дефолту рассылки с конечных, пользовательских хостов?Именно так и надо сделать. Вот только как их уговорить?
Из-за таких кондомов, по недоразумению называющихся андрей валеричами, и существует спам.
А если ISP будут запрещать по дефолту рассылки с конечных, пользовательских хостов? Т.е. не пускать почту чаще, чем пару раз в минуту? Если клиенту понадобилсь организовывать (неспамовсие) рассылки - пишется запрос провайдеру с просьбой предоставить такую возможность. Думаю, часть спама можно будет пресечь таким способом, с зараженных компов, например.
>А если ISP будут запрещать по дефолту рассылки с конечных, пользовательских хостов?
>Т.е. не пускать почту чаще, чем пару раз в минуту? Если
>клиенту понадобилсь организовывать (неспамовсие) рассылки - пишется запрос провайдеру с просьбой
>предоставить такую возможность. Думаю, часть спама можно будет пресечь таким способом,
>с зараженных компов, например.У моего провайдера почти так и сделано. Они предоставляют клиенту 100 Мбит подключение к точке обмена Украинским трафиком за каких-то 10 $ в месяц.
По умолчанию дают адрес 10.x.x.x и 25 закрыт порт вообще.
Попутно IP адреса тоже таким образом экономят. Если оформить заявку
то дадут реальный IP и тут уж ты сам себе админ.
Хоть это мне как клиенту не слишком удобно. Но я бы процедуру еще ужесточил. В заявке бы просил объяснеия целей, и дополнительно подписать бумагу вида "с педупреждениями о возможных последствиях ознакомлен".
>По умолчанию дают адрес 10.x.x.x и 25 закрыт порт вообще.
>Попутно IP адреса тоже таким образом экономят. Если оформить заявку
>то дадут реальный IP и тут уж ты сам себе админ.
>Хоть это мне как клиенту не слишком удобно. Но я бы процедуру
>еще ужесточил. В заявке бы просил объяснеия целей, и дополнительно подписать
>бумагу вида "с педупреждениями о возможных последствиях ознакомлен".ну ладно пусть будет по твоему, все российские провайдеры с завтрашнего дня решили закрыть SMTP с клиентских машин....:)
думаешь меньше спама будет? ничего не изменится, просто отсекутся ламеры-спамеры, которые напрямую пытаются отсылать e-mail, ну и почтовых червей поменьше будет.
а с западом что будешь делать?
Таким образом можно прикрыть спам, разносимый вирусами - большАя часть существующего. А на западе тоже люди работают.
Макс, посмотри кто тут побаловался с трэдом. Я вижу у себя в ящике результаты разговора - т.е. отлупы со всяких адресов пачкой, куда я, естественно, ничего не писала.
То что сейчас наблюдается в той теме и есть самый чистейший спам.
Nikolay:
> Писать фильтры - безполезное занятие. Этим можно заниматься
> до посинения, а спамеры каждый раз найдут уловку чтоб обойти фильтр.
> Конечно, для почтовых сервисов типа mail.ru это единственной способ
> угодить клиенту, но спама от этого меньше не будет.
Любой способ, позволяющий не допустить спам-письмо до получателя, снижает количество спама.Nikolay:
> Не чтоб подумать, как бы прикрыть саму возможность отправки письма
> куда либо, исключая нормальные деловые или личные письма..
А как ты отличишь нормальные письма от спама, если спамеры старательно маскируют спам под деловые письма? :-)AXiZ:
> против спама нужно бороться только административными методами...
Против спама нужно бороться всеми доступными методами.Sergey Semeshko:
> Почему-то никто не заостряет внимание на то, что в последнее время
> практически 100% спама валится с фальшивых адресов.
> Спам с реального адреса теперь никто уже не отправляет,
> поскольку такие действия очень легко пресекаются.
Спам можно отправлять с любого адреса из спамерской базы, т.к. в SMTP считается нормальным находиться в одном месте, а ящик иметь в совершенно другом и отправлять почту через ближайший relay.Sergey Semeshko:
> На мой взгляд необходимо более активное создание, продвижение
> и реклама сервисов, которые позволяют подписывать письма
А кто помешает спамеру заиметь ещё одну зарегестрированную подпись и подписАть ею очередную пачку спама?AXiZ:
> ну ладно пусть будет по твоему, все российские провайдеры
> с завтрашнего дня решили закрыть SMTP с клиентских машин....:)
> думаешь меньше спама будет? ничего не изменится, просто отсекутся
> ламеры-спамеры, которые напрямую пытаются отсылать e-mail,
> ну и почтовых червей поменьше будет.
Ну, этого уже довольно много. Например, у меня бОльшая часть спама пришла напрямую.AXiZ:
> а с западом что будешь делать?
Попрошу Усаму бен-Ладена "I need your help!". Никто не заметил, как упало количнство спама после 11.04.2001?mezantrop:
> То что сейчас наблюдается в той теме и есть самый чистейший спам.
Это м.б. флейм, флуд и оффтопик, но никак не спам.
Строго говоря да, но думаю, что все сразу поняли, что имелось ввиду. А вот если бы я сказал, "флейм, флуд и оффтопик" эффект был бы меньшим. Кстати про Усаму: говорить вслух такие вещи о терактах должно быть, по меньшей мере, стыдно.
> Кстати про Усаму: говорить вслух такие вещи о терактах
> должно быть, по меньшей мере, стыдно.
После нападения США на Югославию мне уже ничего не стыдно. Ибо при демократии (а США как раз гордятся своей демократией) народ оказывается поголовно причастен к преступлениям своего правительства. И пока в Косово при непосредственном соучастии войк США происходит геноцид сербов (именно войска США не позволяют Югославии навести порядок в Косово) - я считаю каждого гражданина США (особенно из числа истеблишмента) своим личным врагом хотя бы потому, что в любой момент моча может ударить им в голову, и они нападут на Россию и на меня лично.PS: Прошу прощения за оффтопик и не буду в претензии, если админы удалят всю ветку про Усаму.
>AXiZ:
>> против спама нужно бороться только административными методами...
>Против спама нужно бороться всеми доступными методами.
>Идет вечером бабка по улице, видит - два мужика третьего мутузят.
- Что же это вы вдвоем на одного напали!
- Отстань, бабка, мы спамера поймали
- Так что ж вы его кулаками, ногами его надо!
Здесь несколько раз поднималась тема "отсталости"
SMTP&POP3. То что замена принципов функционирования электронной почты дело сложное и долгое не вызывает сомнений. Однако может стоит когда-то начать?
Взять, к примеру, IPv4 vs IPv6. Эта замена произойдет не в одночасье. В IPv6 заложены принципы постепенного перехода, может для почты воспользоваться аналогичной схемой.
Есть ли разработки в этой области?
> Здесь несколько раз поднималась тема "отсталости" SMTP&POP3.
> То что замена принципов функционирования электронной почты
> дело сложное и долгое не вызывает сомнений.
> Однако может стоит когда-то начать?Сначала бы неплохо было убедиться, что новая система будет препятствовать рассылке спама. Но любая система с возможностью послать почту от любого отправителя любому получателю (в т.ч. SMS-сообщения и факсы) создаёт почву для рассылки спама. Проблема заключена в том, что спамер может создать собственные почтовые серверы, регестрировать на себя неограниченное количество адресов (или даже использовать в качестве адреса отправителя поддельные адреса), и потому мы не можем сопоставить спам с некмим физическим лицом, воздействуя на которое разными твёрдыми (тупыми или острыми) предметами мы могли бы заставить его больше так не делать. Единственный способ воздействия - атаковать заказчиков спама, т.к. все технологические меры м.б. обойдены.
Пожалуй, какого-то эффекта можно добиться с помощью "белых списков", куда будут включаться только те, кто обязался не слать спам и только по предъявлению паспорта. Или нужны общемировые законы о преследовании спамеров и их пособников (в т.ч. разгильдяев, оставляющих открытые релеи).
>Сначала бы неплохо было убедиться, что новая система будет препятствовать рассылке спама.
Это само сабой разумеющееся.>Но любая система с возможностью послать почту от любого отправителя любому получателю (в т.ч. SMS-сообщения и факсы) создаёт почву для рассылки спама.
>Проблема заключена в том, что спамер может создать собственные почтовые серверы, регестрировать на себя неограниченное количество адресов (или...
Один из вариантов это ужесточение процедуры регистрации почтовых доменов.
И внесение их, как вы говорите, в "белый список". Однако это потребует централизованной базы MX записей, ведущейся на уровне распределения доменов и диапазонов ip адресов. Данный подход требует обязательную проверку подлинности отправителя. Скажем, проверяя id письма у сервера
отправителя (и только из белого списка). Здесь также возникают еще две проблемы:
- Кто и как обнаруживает спам (это скорее дело конечных пользователей и администраторов).
- Кто принимает решение о наказании (скажем в виде штрафа приложенного к счету за домен :) или об исключении из белого списка (это должна быть уважаемая некоммерческая организация).
Ну конечно, здесь не обойтись без проблем на этапе перехода. А это не год и не два. Однако стоит задуматься как будет выглядеть электронная почта лет через 5-10. Если сейчас не начать изменения, то борьба со спамом к тому моменту врятли снизит свои темпы.
Идеальным вариантом было бы решение прозрачное для клиентского ПО. Однако такого решения пока не видно.
Это всего лишь варианты (где-то идеалистичные). Самое главное нужен единый стандарт. Иначе (не|полу)совместимые решения приведут к еще большему хаосу.>Единственный способ воздействия - атаковать заказчиков спама, т.к. все технологические меры м.б. обойдены.
Это конечно вариант, но проблему в целом он не решает.>Или нужны общемировые законы о преследовании спамеров и их пособников
На мой взгляд, добится этого значительно сложнее, чем перейти на новую технологию. Достаточно много стран, которым мягко говоря не до спама. Именно через такие страны спамеры всего мира и будут работать. Даже если примут закон по России спам прийдет из-за границы.
> Один из вариантов это ужесточение процедуры регистрации почтовых доменов.
> И внесение их, как вы говорите, в "белый список".Беда в том, что спамеру не всегда нужен целый домен - иногда достаточно всего лишь отдельного Адреса (реального Адреса, который будет подтверждён легальным сервером); а таких адресов можно будет нарегестрировать сколько угодно только для спама. После спам-атаки идут жалобы на спам с этого конкретного Адреса, адрес закрывается, а спамер регестрирует новый адрес и спамит с него.
> Однако стоит задуматься как будет выглядеть электронная почта лет через 5-10.
Да никак не будет - мусульмане повалят Соединённые Штаты и закроют Internet.
> Атаковать заказчиков спама - это конечно вариант,
> но проблему в целом он не решает.Как раз решает - делает спам экономически неэффективным.
> Достаточно много стран, которым мягко говоря не до спама.
> Именно через такие страны спамеры всего мира и будут работать.
> Даже если примут закон по России спам прийдет из-за границы.Если самые развитые страны примут закоы против спама, то остальных можно будет просто заблокировать, оставив возможность работать через Web-mail. Но гораздо важнее не точка рассылки спама, а точка приёма заказов на спам типа ce_pochta_doa@land.ru или johny31z@yahoo.com (адреса я поместил специально для ботов, собирающих адресА; могу накидать ещё пачку телефонов). Метод доказательства прост - "контрольная закупка".
Для начала неплохо было бы отучить заказчиков спама от работы без заключения договора: для этого после принятия закона создаётся псевдо-контора, предлагающая дешёвый спам и работающая только по устному договору; всякий клиент, кто клюнет на её призывы, жестоко штрафуется (доказательства пишутся на магнитофон). Паралельно ложные заказчики спама ловят спамеров, работающих без письменного договора. Одно то, что спамеры попадут под налогообложение, сделает спам дороже на 20% НДС, снизив число клиентов.
Интересно, а можно ли подать в суд на провайдера, от клиента которого идут вирусы, и выиграть суд? Если будет такой прецедент, то будет реально прикрыть порт:25, а вместе с ним и бОльшую часть вирусов и главное - спама, который рассылается напрямую.