Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Почта)
Изначальное сообщение		[ Отслеживать ]

"Spamassasin и размер bayes_toks"	+/–
Сообщение от vaan (ok), 25-Авг-10, 16:20
FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1 use_bayes 1 bayes_path /usr/local/bayes/bayes use_auto_whitelist 1 auto_whitelist_path /usr/local/bayes/autowhitelist bayes_journal_max_size 102400 bayes_expiry_max_db_size 150000 bayes_auto_expire 1 lock_method flock bayes_auto_learn_threshold_nonspam 0.1 bayes_auto_learn_threshold_spam 12.0 Такая проблема со spamassasin'ом, как только включаю bayes начинает расти bayes_toks до невероятных, нереальных размеров: >ls -lh total 9263163 -rw-------  1 root  wheel    19B Aug 25 15:50 bayes.lock -rw-------  1 root  wheel    36M Aug 25 15:50 bayes_seen -rw-------  1 root  wheel   128T Aug 25 15:51 bayes_toks после чего процесс обновляющий фильтр повисает со 100% загрузкой CPU:   PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND 26896 root        1 118    0 74620K 46608K CPU3    1  15:52 100.00% perl 38904 spamd       1  50    0 85844K 53552K select  2   0:01  4.49% perl 39016 spamd       1  76    0 84820K 52120K select  1   0:00  4.05% perl 39017 spamd       1  72    0 84820K 52520K select  2   0:00  4.05% perl 31543 spamd       1  46    0 89940K 57720K select  2   0:36  3.56% perl в данном случае при запуске spamd bayes был отключен, просто руками запустил обучение на 300 писем > sa-learn -u spamd --spam /usr/home/xxx/spam но то же самое происходит и если просто включить bayes, минут за 20 bayes_toks вырастает до 128 терабайт и появляются "мёртвые" процессы со 100% загрузкой. изменение bayes_journal_max_size и bayes_expiry_max_db_size не помогают. Подскажите что покрутить? Не может это быть глюком ZFS (каталог bayes на ней)?
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Spamassasin и размер bayes_toks"	+/–
Сообщение от vaan (ok), 26-Авг-10, 09:08
>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1 ... >Не может это быть глюком ZFS (каталог bayes на ней)? Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, всё заработало как надо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от Pahanivo (ok), 26-Авг-10, 12:07
	>>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1 > >... >>Не может это быть глюком ZFS (каталог bayes на ней)? > >Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, >всё заработало как надо. какая связь? > но то же самое происходит и если просто включить bayes, минут за 20 bayes_toks > вырастает до 128 терабайт и появляются "мёртвые" процессы со 100% загрузкой. не хилые у вас скорости записи однако ... 6 Тb/min
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	5. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от DeadLoco (ok), 26-Авг-10, 20:48
	>какая связь? Очевидно, связь через кеширование записи - процесс просто не видит изменений в файле и повторяет операцию записи снова и снова, отчего файл и растет ударными темпами.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	6. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от Pahanivo (ok), 27-Авг-10, 10:33
	>>какая связь? > >Очевидно, связь через кеширование записи - процесс просто не видит изменений в >файле и повторяет операцию записи снова и снова, отчего файл и >растет ударными темпами. хмммм - весьма странно .... получается что при интенсивной записи мелкими порциями это сам себе DoS ? )
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	3. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от Golub Mikhail (ok), 26-Авг-10, 13:11
	>>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1 > >... >>Не может это быть глюком ZFS (каталог bayes на ней)? > >Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, >всё заработало как надо. Измените recordsize для фс, где находятся файлы с токенами. Должно помочь. Попробуйте установить 8 Кб. Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K - стало нормально. Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	4. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от Pahanivo (ok), 26-Авг-10, 14:09
	>[оверквотинг удален] >>>Не может это быть глюком ZFS (каталог bayes на ней)? >> >>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, >>всё заработало как надо. > >Измените recordsize для фс, где находятся файлы с токенами. Должно помочь. >Попробуйте установить 8 Кб. >Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K >- стало нормально. >Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя. это глюк? наскока я понял из мануалу этим тюнится перфоменс .... простото тоже хочу заморочить за zfs - хочется побольше узнать о граблях
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	7. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от vaan (ok), 29-Авг-10, 12:17
	>Измените recordsize для фс, где находятся файлы с токенами. Должно помочь. Огромное спасибо, поставил 16к, помогло. # sa-learn --dump magic 0.000          0          3          0  non-token data: bayes db version 0.000          0     179355          0  non-token data: nspam 0.000          0        413          0  non-token data: nham 0.000          0    3225290          0  non-token data: ntokens 0.000          0 1225522102          0  non-token data: oldest atime 0.000          0 1283069769          0  non-token data: newest atime 0.000          0 1283069746          0  non-token data: last journal sync atime 0.000          0 1282795676          0  non-token data: last expiry atime 0.000          0      43200          0  non-token data: last expire atime delta 0.000          0      40808          0  non-token data: last expire reduction count # ls -lh total 98848 -rw-------  1 spamd  spamd    30K Aug 29 12:16 bayes.mutex -rw-------  1 spamd  spamd    49K Aug 29 12:16 bayes_journal -rw-------  1 spamd  spamd    19M Aug 29 12:16 bayes_seen -rw-------  1 spamd  spamd    77M Aug 29 12:16 bayes_toks
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	8. "Spamassasin и размер bayes_toks"	+/–
	Сообщение от sea_nsk (ok), 14-Май-19, 11:48
	>[оверквотинг удален] >>... >>>Не может это быть глюком ZFS (каталог bayes на ней)? >> >>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, >>всё заработало как надо. > Измените recordsize для фс, где находятся файлы с токенами. Должно помочь. > Попробуйте установить 8 Кб. > Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K > - стало нормально. > Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя. Здравствуйте. У меня схожая проблема с тем же файлом -rw-------  1 spamd  spamd   2.0T Jul 13  2016 bayes_toks На диске вообще нет столько места. система UFS   2029200   2586624      4  freebsd-ufs  (1.2G) fsck ошибок не показывает. Куда рыть?
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема