forum.opennet.ru - "Обучение SpamAssassin" (11)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Обучение SpamAssassin"

Форум Открытые системы на сервере (Почта / FreeBSD)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Обучение SpamAssassin"	+/–
Сообщение от Alexey (??) on 03-Мрт-11, 16:19
Здравствуйте коллеги) Установлена почтовая система на базе Freebsd, postfix, dbmail, amavisd-new, spamassassin, clamav. Все в принципе нормально работает, но есть один вопрос. Как сделать так чтобы письмо не помеченное amavis как спам (но являющиеся спамом) можно было переслать на определенный адрес, например spam@company.com, для обработки SpamAssassin, т.е. что бы он на основании этого письма создал правила bayes?
Ответить \| Правка \| Cообщить модератору

Оглавление

Обучение SpamAssassin, vel, 17:18 , 03-Мрт-11, (1)

Обучение SpamAssassin, Alexey, 17:33 , 03-Мрт-11, (2)

Обучение SpamAssassin, DeadLoco, 19:59 , 03-Мрт-11, (3)

Обучение SpamAssassin, Alexey, 09:11 , 04-Мрт-11, (4)

Обучение SpamAssassin, DeadLoco, 12:22 , 04-Мрт-11, (5)

Обучение SpamAssassin, Alexey, 13:36 , 04-Мрт-11, (6)

Обучение SpamAssassin, DeadLoco, 14:07 , 04-Мрт-11, (7)

Обучение SpamAssassin, Alexey, 14:20 , 04-Мрт-11, (8)

Обучение SpamAssassin, DeadLoco, 14:25 , 04-Мрт-11, (9)

Обучение SpamAssassin, peering2, 15:39 , 19-Янв-13, (10)

Обучение SpamAssassin, DeadLoco, 16:32 , 19-Янв-13, (11)

Сообщения по теме [Сортировка по времени | RSS]

1. "Обучение SpamAssassin" +/–

Сообщение от vel on 03-Мрт-11, 17:18

> Здравствуйте коллеги)
> Установлена почтовая система на базе Freebsd, postfix, dbmail, amavisd-new, spamassassin,
> clamav. Все в принципе нормально работает, но есть один вопрос. Как
> сделать так чтобы письмо не помеченное amavis как спам (но являющиеся
> спамом) можно было переслать на определенный адрес, например spam@company.com, для обработки
> SpamAssassin, т.е. что бы он на основании этого письма создал правила
> bayes?
Видимо, как-то так: http://sys-adm.org.ua/mail/mail-howto-p2.php

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Обучение SpamAssassin" +/–

Сообщение от Alexey (??) on 03-Мрт-11, 17:33

> Видимо, как-то так: http://sys-adm.org.ua/mail/mail-howto-p2.php
Не нашел там ответа...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Обучение SpamAssassin" +/–

Сообщение от DeadLoco (ok) on 03-Мрт-11, 19:59

> Как сделать так чтобы письмо не помеченное amavis как спам (но являющиеся
> спамом) можно было переслать на определенный адрес
Для начала следует уяснить, _КТО_ будет решать, что письмо, не опознанное, как спам, есть спам, и подлежит пересылке. И что этот _КТО-ТО_ будет делать с письмом.
У меня письмо, которое СА опознал, как спам, помечается хедером X-Spam-Detected: YES. Общесистемный сортировщик письма с таким хедером кладет юзеру в подпапку "Спам" его ящика. Остальные кладутся во "Входящие". Если юзер по ИМАП видит, что во "Входящих" лежит явный нераспознанный спам, он его перетаскивает в "Спам". И наоборот.
Далее все просто. Раз в сутки скрипт проходит по почтовому хранилищу в поисках писем двух видов:
- лежащих в папке "спам" без хедера и
- лежащих вне папки "спам", но с хедером.
Первые - это фальш-негативы, распознанные юзерами, а вторые - это фальш-позитивы. распознанные ими же. Первые скармливаются sa-learn --spam $1 а вторые - sa-learn --ham $1

У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении письма из папки в папку, что гораздо эффективнее обработки раз в сутки, но этот механизм в версии 1.х слишком коряв, через сторонний плагин.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Обучение SpamAssassin" +/–

Сообщение от Alexey (??) on 04-Мрт-11, 09:11

> У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении
> письма из папки в папку, что гораздо эффективнее обработки раз в
> сутки, но этот механизм в версии 1.х слишком коряв, через сторонний
> плагин.
Да, описаный вами механизм работает, но у меня письма хранятся в базе данных(я написал что использую dbmail). Поэтому sa-learn --spam <имя файла> не подходит.
Вопрос остается открытым...

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Обучение SpamAssassin" +/–

Сообщение от DeadLoco (ok) on 04-Мрт-11, 12:22

> Да, описаный вами механизм работает, но у меня письма хранятся в базе
> данных(я написал что использую dbmail). Поэтому sa-learn --spam <имя файла> не
> подходит.
> Вопрос остается открытым...
Поскольку у вас все хранится в базе, то, очевидно, нужно к базе обращаться. Писать запросы, которые будут находить записи, удовлетворяющие некоторому критерию. Из этих записей реконструировать письма (из заголовков и тела) и скармливать полученное СА.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Обучение SpamAssassin" +/–

Сообщение от Alexey (??) on 04-Мрт-11, 13:36

> Поскольку у вас все хранится в базе, то, очевидно, нужно к базе
> обращаться. Писать запросы, которые будут находить записи, удовлетворяющие некоторому
> критерию. Из этих записей реконструировать письма (из заголовков и тела) и
> скармливать полученное СА.
Я нашел в документации к SpamAssassin опцию :
blacklist_to spam@company.com
Но мне кажется она работает не так как надо. Эта опция при приходе письма на ящик spam@company.com просто добавляет ему 10 балов и непохоже что она учит bayes, т.к. я продолжаю получать такой же спам, а bayes ему упорно ставит 0.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Обучение SpamAssassin" +/–

Сообщение от DeadLoco (ok) on 04-Мрт-11, 14:07

> непохоже что она учит bayes
Значится, так.
Автолерн, обучение байеса в процессе обработки письма, происходит при непременном совпадении трех условий:
- сигнатура письма отсутствует в базе bayes_seen
- правила, проверяющие хедеры письма, насчитали 3 и более баллов
- правила, проверяющие тело письма, насчитали 3 и более баллов
Ни при каких других условиях автолерн в процессе обработки запущен не будет. Любое другое обучение СА происходит вызовом утилиты
# sa-learn --[spam|ham] /path/to/the/[message|folder]
Если вы хотите обучать СА, вы должны найти в базе все записи с письмами, подлежащими обучению, создать на базе этих записей файлы сообщений, сложить их в некий каталог и напустить на этот каталог са-лерн.
Как-то так, примерно.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Обучение SpamAssassin" +/–

Сообщение от Alexey (??) on 04-Мрт-11, 14:20

> Как-то так, примерно.
Спасибо за ответы, буду дальше думать.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Обучение SpamAssassin" +/–

Сообщение от DeadLoco (ok) on 04-Мрт-11, 14:25

> Спасибо за ответы, буду дальше думать.
Я незнаком с ДБМейлом, но если он архитектурно правилен, в нем должен быть предусмотрен вызов внешних процедур при возникновении событий. Скажем, если пользователь перемещает письмо из папки "Входящие" в папку "Спам", то должна быть возможность автоматом стартовать onMessageMove, условно говоря. И уже внутри этого onMessageMove прописывать всю логику.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Обучение SpamAssassin" +/–

Сообщение от peering2 on 19-Янв-13, 15:39

>[оверквотинг удален]
> поисках писем двух видов:
> - лежащих в папке "спам" без хедера и
> - лежащих вне папки "спам", но с хедером.
> Первые - это фальш-негативы, распознанные юзерами, а вторые - это фальш-позитивы. распознанные
> ими же. Первые скармливаются sa-learn --spam $1 а вторые - sa-learn
> --ham $1
> У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении
> письма из папки в папку, что гораздо эффективнее обработки раз в
> сутки, но этот механизм в версии 1.х слишком коряв, через сторонний
> плагин.
Скажи а в какой секциия описывается и где amavis или в SA, что письма должны ложиться именно в папку спам,, юзера. У меня светиться в заголовке  SPAM что заданно в amovise,, и пока я через модуль в кубе не отмечу он не копируется в .SPAM

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

11. "Обучение SpamAssassin" +/–

Сообщение от DeadLoco (ok) on 19-Янв-13, 16:32

> Скажи а в какой секциия описывается и где amavis или в SA,
> что письма должны ложиться именно в папку спам,, юзера. У меня
> светиться в заголовке  SPAM что заданно в amovise,, и пока
> я через модуль в кубе не отмечу он не копируется в .SPAM
СА/амавис перемещением писем не занимаются. Их задача - повесить хедер. А уж обрабатывает этот хедер и кладет письмо в ту или иную папку ЛДА. В моем случае - это dovecot-lda + sieve. Сив - это встроенный в довекот сортировщик писем, у которого есть правило, применяемое ко всем доставляемым в мейлдиры письмам:
if exists "X-Spam-Detected"
{
   fileinto "Junk";
   stop;
}

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Обучение SpamAssassin"	+/–
Сообщение от vel on 03-Мрт-11, 17:18
> Здравствуйте коллеги) > Установлена почтовая система на базе Freebsd, postfix, dbmail, amavisd-new, spamassassin, > clamav. Все в принципе нормально работает, но есть один вопрос. Как > сделать так чтобы письмо не помеченное amavis как спам (но являющиеся > спамом) можно было переслать на определенный адрес, например spam@company.com, для обработки > SpamAssassin, т.е. что бы он на основании этого письма создал правила > bayes? Видимо, как-то так: http://sys-adm.org.ua/mail/mail-howto-p2.php
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Обучение SpamAssassin"	+/–
	Сообщение от Alexey (??) on 03-Мрт-11, 17:33
	> Видимо, как-то так: http://sys-adm.org.ua/mail/mail-howto-p2.php Не нашел там ответа...
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

3. "Обучение SpamAssassin"	+/–
Сообщение от DeadLoco (ok) on 03-Мрт-11, 19:59
> Как сделать так чтобы письмо не помеченное amavis как спам (но являющиеся > спамом) можно было переслать на определенный адрес Для начала следует уяснить, _КТО_ будет решать, что письмо, не опознанное, как спам, есть спам, и подлежит пересылке. И что этот _КТО-ТО_ будет делать с письмом. У меня письмо, которое СА опознал, как спам, помечается хедером X-Spam-Detected: YES. Общесистемный сортировщик письма с таким хедером кладет юзеру в подпапку "Спам" его ящика. Остальные кладутся во "Входящие". Если юзер по ИМАП видит, что во "Входящих" лежит явный нераспознанный спам, он его перетаскивает в "Спам". И наоборот. Далее все просто. Раз в сутки скрипт проходит по почтовому хранилищу в поисках писем двух видов: - лежащих в папке "спам" без хедера и - лежащих вне папки "спам", но с хедером. Первые - это фальш-негативы, распознанные юзерами, а вторые - это фальш-позитивы. распознанные ими же. Первые скармливаются sa-learn --spam $1 а вторые - sa-learn --ham $1 У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении письма из папки в папку, что гораздо эффективнее обработки раз в сутки, но этот механизм в версии 1.х слишком коряв, через сторонний плагин.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	4. "Обучение SpamAssassin"	+/–
	Сообщение от Alexey (??) on 04-Мрт-11, 09:11
	> У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении > письма из папки в папку, что гораздо эффективнее обработки раз в > сутки, но этот механизм в версии 1.х слишком коряв, через сторонний > плагин. Да, описаный вами механизм работает, но у меня письма хранятся в базе данных(я написал что использую dbmail). Поэтому sa-learn --spam <имя файла> не подходит. Вопрос остается открытым...
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Обучение SpamAssassin"	+/–
	Сообщение от DeadLoco (ok) on 04-Мрт-11, 12:22
	> Да, описаный вами механизм работает, но у меня письма хранятся в базе > данных(я написал что использую dbmail). Поэтому sa-learn --spam <имя файла> не > подходит. > Вопрос остается открытым... Поскольку у вас все хранится в базе, то, очевидно, нужно к базе обращаться. Писать запросы, которые будут находить записи, удовлетворяющие некоторому критерию. Из этих записей реконструировать письма (из заголовков и тела) и скармливать полученное СА.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "Обучение SpamAssassin"	+/–
	Сообщение от Alexey (??) on 04-Мрт-11, 13:36
	> Поскольку у вас все хранится в базе, то, очевидно, нужно к базе > обращаться. Писать запросы, которые будут находить записи, удовлетворяющие некоторому > критерию. Из этих записей реконструировать письма (из заголовков и тела) и > скармливать полученное СА. Я нашел в документации к SpamAssassin опцию : blacklist_to spam@company.com Но мне кажется она работает не так как надо. Эта опция при приходе письма на ящик spam@company.com просто добавляет ему 10 балов и непохоже что она учит bayes, т.к. я продолжаю получать такой же спам, а bayes ему упорно ставит 0.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	7. "Обучение SpamAssassin"	+/–
	Сообщение от DeadLoco (ok) on 04-Мрт-11, 14:07
	> непохоже что она учит bayes Значится, так. Автолерн, обучение байеса в процессе обработки письма, происходит при непременном совпадении трех условий: - сигнатура письма отсутствует в базе bayes_seen - правила, проверяющие хедеры письма, насчитали 3 и более баллов - правила, проверяющие тело письма, насчитали 3 и более баллов Ни при каких других условиях автолерн в процессе обработки запущен не будет. Любое другое обучение СА происходит вызовом утилиты # sa-learn --[spam\|ham] /path/to/the/[message\|folder] Если вы хотите обучать СА, вы должны найти в базе все записи с письмами, подлежащими обучению, создать на базе этих записей файлы сообщений, сложить их в некий каталог и напустить на этот каталог са-лерн. Как-то так, примерно.
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	8. "Обучение SpamAssassin"	+/–
	Сообщение от Alexey (??) on 04-Мрт-11, 14:20
	> Как-то так, примерно. Спасибо за ответы, буду дальше думать.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	9. "Обучение SpamAssassin"	+/–
	Сообщение от DeadLoco (ok) on 04-Мрт-11, 14:25
	> Спасибо за ответы, буду дальше думать. Я незнаком с ДБМейлом, но если он архитектурно правилен, в нем должен быть предусмотрен вызов внешних процедур при возникновении событий. Скажем, если пользователь перемещает письмо из папки "Входящие" в папку "Спам", то должна быть возможность автоматом стартовать onMessageMove, условно говоря. И уже внутри этого onMessageMove прописывать всю логику.
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	10. "Обучение SpamAssassin"	+/–
	Сообщение от peering2 on 19-Янв-13, 15:39
	>[оверквотинг удален] > поисках писем двух видов: > - лежащих в папке "спам" без хедера и > - лежащих вне папки "спам", но с хедером. > Первые - это фальш-негативы, распознанные юзерами, а вторые - это фальш-позитивы. распознанные > ими же. Первые скармливаются sa-learn --spam $1 а вторые - sa-learn > --ham $1 > У довекота, которым я пользуюсь, есть механизм вызова хендлера непосредственно при перемещении > письма из папки в папку, что гораздо эффективнее обработки раз в > сутки, но этот механизм в версии 1.х слишком коряв, через сторонний > плагин. Скажи а в какой секциия описывается и где amavis или в SA, что письма должны ложиться именно в папку спам,, юзера. У меня светиться в заголовке SPAM что заданно в amovise,, и пока я через модуль в кубе не отмечу он не копируется в .SPAM
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	11. "Обучение SpamAssassin"	+/–
	Сообщение от DeadLoco (ok) on 19-Янв-13, 16:32
	> Скажи а в какой секциия описывается и где amavis или в SA, > что письма должны ложиться именно в папку спам,, юзера. У меня > светиться в заголовке SPAM что заданно в amovise,, и пока > я через модуль в кубе не отмечу он не копируется в .SPAM СА/амавис перемещением писем не занимаются. Их задача - повесить хедер. А уж обрабатывает этот хедер и кладет письмо в ту или иную папку ЛДА. В моем случае - это dovecot-lda + sieve. Сив - это встроенный в довекот сортировщик писем, у которого есть правило, применяемое ко всем доставляемым в мейлдиры письмам: if exists "X-Spam-Detected" { fileinto "Junk"; stop; }
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору