The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"DBMAIL и его ibdata1"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Почта / Linux)
Изначальное сообщение [ Отслеживать ]

"DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 06-Апр-13, 10:11 
Доброго времени суток.
Собственно полгода назад поднял почтовичок для небольшой конторки на базе этого DBMAIL, собственно проблема с этим сервером POP3. Поднимал почтовик на виртуалке разметив диск под неё в 10 гигов. Тут как то недавно зашел к ним и заметил что на вирт диске осталось всего 1.5 гига свободного места, а так как DBMAIL работает с mysql, недолго поискав обнаружил что занимает все это место один файл базы ibdata1. Пожурив тему про этот айбидата по нету, понял что проблема есть у многих. Вообщем то спрашиваю может кто сталкивался с этой проблемой? и были ли решения которые обходились малой кровью у кого стоит та же система с DBMAIL?
Почтовичок работает замечательно, файл растет прилично быстро, несколько десятков метров в день, что вообще занимает в нем место? Удаление всех акаунтов и создание новых я так понял не дает результата...  
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 06-Апр-13, 10:25 
>[оверквотинг удален]
> к ним и заметил что на вирт диске осталось всего 1.5
> гига свободного места, а так как DBMAIL работает с mysql, недолго
> поискав обнаружил что занимает все это место один файл базы ibdata1.
> Пожурив тему про этот айбидата по нету, понял что проблема есть
> у многих. Вообщем то спрашиваю может кто сталкивался с этой проблемой?
> и были ли решения которые обходились малой кровью у кого стоит
> та же система с DBMAIL?
> Почтовичок работает замечательно, файл растет прилично быстро, несколько десятков метров
> в день, что вообще занимает в нем место? Удаление всех акаунтов
> и создание новых я так понял не дает результата...

Лично я не понимаю, зачем людям в небольших конторках DBMAIL.
Но если выбрали это решение, будьте готовы к тому, что вся эта система даст вам повышенные нагрузки.  С первой из них - по занятому дисковому пространству - вы уже столкнулись.

10 Гб это так-то вообще ни о чем для почты конторки-то, добавьте места и ждите, когда оно начнет неприлично тормозить на элементарных операциях. Затем добавляйте оперативки, ставьте новые процессора... или смените тип хранилища.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 06-Апр-13, 10:39 
>[оверквотинг удален]
>> Почтовичок работает замечательно, файл растет прилично быстро, несколько десятков метров
>> в день, что вообще занимает в нем место? Удаление всех акаунтов
>> и создание новых я так понял не дает результата...
> Лично я не понимаю, зачем людям в небольших конторках DBMAIL.
> Но если выбрали это решение, будьте готовы к тому, что вся эта
> система даст вам повышенные нагрузки.  С первой из них -
> по занятому дисковому пространству - вы уже столкнулись.
> 10 Гб это так-то вообще ни о чем для почты конторки-то, добавьте
> места и ждите, когда оно начнет неприлично тормозить на элементарных операциях.
> Затем добавляйте оперативки, ставьте новые процессора... или смените тип хранилища.

Ок, упреки услышал). ПО поводу зачем, ну вот поставил и поставил - было инетресно. По поводу нагрузки и сбоев проблем никаких небыло ни разу... пока. Но вот с файлом, да вышел косяк с которым как бороться я не знаю, я и спрашиваю чтобы узнать - можно как нить без особо гемороа решить проблему или проще postfix поднять. По поводу 10Гб что вы имеете ввиду когда говорите - ни о чем ? в среднем - 20 человек работают с почтой постоянно... зачем больше? Если есть решение как убивать размер этого файла, то проблем я не вижу с этой системой, если нет, ну чтож я облажался.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 06-Апр-13, 11:03 
>[оверквотинг удален]
> Ок, упреки услышал). ПО поводу зачем, ну вот поставил и поставил -
> было инетресно. По поводу нагрузки и сбоев проблем никаких небыло ни
> разу... пока. Но вот с файлом, да вышел косяк с которым
> как бороться я не знаю, я и спрашиваю чтобы узнать -
> можно как нить без особо гемороа решить проблему или проще postfix
> поднять. По поводу 10Гб что вы имеете ввиду когда говорите -
> ни о чем ? в среднем - 20 человек работают с
> почтой постоянно... зачем больше? Если есть решение как убивать размер этого
> файла, то проблем я не вижу с этой системой, если нет,
> ну чтож я облажался.

Ну пусть пользователи почту в почтовых ящиках почистят, + посжимают (это отдельная операция). Тогда объем данных - уменьшится. Правда сожмется ли размер файла - я как-то не уверен, почитайте как работает InnoDB в MySQL.

Накрайняк легко и просто после сжатия уменьшить размер - это сдампить всю БД, удалить файлы БД, переинциализировать её и залить дамп обратно. )


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "DBMAIL и его ibdata1"  +/
Сообщение от pavlinux (ok) on 06-Апр-13, 13:21 
> По поводу нагрузки и сбоев проблем никаких небыло ни разу... пока.

[1555601.201398] dbmail-imapd[5892]: segfault at 38 ip 00007f9ba1925bb4 sp 00007fff4105d880 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1635969.150945] dbmail-imapd[18226]: segfault at 0 ip 00007f9ba1928152 sp 00007fff4105d540 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1635969.221581] dbmail-imapd[18264]: segfault at 0 ip 00007f9ba1928152 sp 00007fff4105d540 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1635969.799268] dbmail-imapd[5635]: segfault at 0 ip 00007f9ba1928152 sp 00007fff4105d540 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1635984.876879] dbmail-imapd[18267]: segfault at 0 ip 00007f9ba1928152 sp 00007fff4105d540 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1635989.706376] dbmail-imapd[17771]: segfault at 0 ip 00007f9ba1928152 sp 00007fff4105d540 error 4 in libdbmail.so.0.0.0[7f9ba1913000+4a000]
[1636439.897449] dbmail-imapd[27020]: segfault at 0 ip 00007f069401b152 sp 00007fffbb692ba0 error 4 in libdbmail.so.0.0.0[7f0694006000+4a000]
[1636441.212665] dbmail-imapd[27623]: segfault at 0 ip 00007f069401b152 sp 00007fffbb692ba0 error 4 in libdbmail.so.0.0.0[7f0694006000+4a000]

Тупа от нехватки оперативки.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "DBMAIL и его ibdata1"  +/
Сообщение от ALex_hha (ok) on 06-Апр-13, 18:38 
> можно как нить без особо гемороа решить проблему или проще postfix поднять

postfix как бы MTA и никакого отношения к хранению писем не имеет

P.S.
поставьте dovecot и не мучайте ни себя, ни сотрудников


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 (ok) on 06-Апр-13, 20:55 
>> можно как нить без особо гемороа решить проблему или проще postfix поднять
> postfix как бы MTA и никакого отношения к хранению писем не имеет
> P.S.
> поставьте dovecot и не мучайте ни себя, ни сотрудников

ну давкот всмысле с постфиксом имел виду, они оба всегда на слуху. ладно вообщем я так понимаю вменяемых средств никто вроде как незнает. какой смысл тогда от него если нельзя нормально контролировать размер файла базы данных?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "DBMAIL и его ibdata1"  +/
Сообщение от pavlinux (ok) on 06-Апр-13, 22:25 
>>> можно как нить без особо гемороа решить проблему или проще postfix поднять
>> postfix как бы MTA и никакого отношения к хранению писем не имеет
>> P.S.
>> поставьте dovecot и не мучайте ни себя, ни сотрудников
> ну давкот всмысле с постфиксом имел виду, они оба всегда на слуху.
> ладно вообщем я так понимаю вменяемых средств никто вроде как незнает.
> какой смысл тогда от него если нельзя нормально контролировать размер файла
> базы данных?

Дальше платные советы.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 07-Апр-13, 16:03 
>>> можно как нить без особо гемороа решить проблему или проще postfix поднять
>> postfix как бы MTA и никакого отношения к хранению писем не имеет
>> P.S.
>> поставьте dovecot и не мучайте ни себя, ни сотрудников
> ну давкот всмысле с постфиксом имел виду, они оба всегда на слуху.
> ладно вообщем я так понимаю вменяемых средств никто вроде как незнает.

знают, но вам чужие знания не помогут.

> какой смысл тогда от него если нельзя нормально контролировать размер файла
> базы данных?

вопрос "какой смысл в dbmail" вам надо было задать себе в самом начале, когда только планировался ваш почтовый сервер.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "DBMAIL и его ibdata1"  +/
Сообщение от fantom (ok) on 08-Апр-13, 11:06 
>[оверквотинг удален]
>>> postfix как бы MTA и никакого отношения к хранению писем не имеет
>>> P.S.
>>> поставьте dovecot и не мучайте ни себя, ни сотрудников
>> ну давкот всмысле с постфиксом имел виду, они оба всегда на слуху.
>> ладно вообщем я так понимаю вменяемых средств никто вроде как незнает.
>  знают, но вам чужие знания не помогут.
>> какой смысл тогда от него если нельзя нормально контролировать размер файла
>> базы данных?
> вопрос "какой смысл в dbmail" вам надо было задать себе в самом
> начале, когда только планировался ваш почтовый сервер.

Вы wiki на dbmail.org читали?
зачистку базы делаете?
У меня dbmail+ postgresql работает уже лет эдак 7 и приблем особых не наблюдается, 1 раз в месяц vacuum full и ежедневно зачистка мусора.

По умолчанию письма сразу не удаляются а только помечаются как удаленные
dbmail-util -h и изучайте вывод и ключи.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 08-Апр-13, 11:26 
>[оверквотинг удален]
>>> базы данных?
>> вопрос "какой смысл в dbmail" вам надо было задать себе в самом
>> начале, когда только планировался ваш почтовый сервер.
> Вы wiki на dbmail.org читали?
> зачистку базы делаете?
> У меня dbmail+ postgresql работает уже лет эдак 7 и приблем особых
> не наблюдается, 1 раз в месяц vacuum full и ежедневно зачистка
> мусора.
> По умолчанию письма сразу не удаляются а только помечаются как удаленные
> dbmail-util -h и изучайте вывод и ключи.

Нет, не изучал, настроил на скорую руку потому и глупые вопросы задал, н оможет кому поможет

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

10. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 08-Апр-13, 11:22 
>[оверквотинг удален]
> к ним и заметил что на вирт диске осталось всего 1.5
> гига свободного места, а так как DBMAIL работает с mysql, недолго
> поискав обнаружил что занимает все это место один файл базы ibdata1.
> Пожурив тему про этот айбидата по нету, понял что проблема есть
> у многих. Вообщем то спрашиваю может кто сталкивался с этой проблемой?
> и были ли решения которые обходились малой кровью у кого стоит
> та же система с DBMAIL?
> Почтовичок работает замечательно, файл растет прилично быстро, несколько десятков метров
> в день, что вообще занимает в нем место? Удаление всех акаунтов
> и создание новых я так понял не дает результата...

Итак. Что же спасло отца русской демократии от разорения и алчных gnuшников опеннета). А знаний то особо и не потребовалось, нужно было всего лишь сделать дамп базы, для тех кто столкнулся с той же проблемой что и я, мои действия -
1) Я делал вариант песочницы и выгружал не более 30 записей, название базы у вас может быть свое.
mysqldump -u root -p --where="true limit 30" dbmail > dbmail.sql
2) Далее перемещаем куда нибудь ibdata1 и два лог файла
3) Перезапускаем мускл
4) Появляются новые лог файлы и ibdata1 c размером указанным в my.cnf (по дефолту 10Мб). Разворачиваем наш дамп
mysql -u root -p dbmail < dbmail.sql
И Вуаля, размер файла 10Мб, все таблицы на месте.
Незабываем в my.cnf указать параметры чтобы не пух один файл -
innodb_file_per_table=1
Всем удачи.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "DBMAIL и его ibdata1"  +/
Сообщение от pavlinux (ok) on 08-Апр-13, 17:31 
> И Вуаля, размер файла 10Мб, все таблицы на месте.

А 10 гигов писем где? :)

> Незабываем в my.cnf указать параметры чтобы не пух один файл - innodb_file_per_table=1

Один, messages, по любому распухнет.  

Написали же - курите dbmail-util и spamassasin с автоубиванием спама через 60 дней.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 08-Апр-13, 20:09 
>> И Вуаля, размер файла 10Мб, все таблицы на месте.
> А 10 гигов писем где? :)
>> Незабываем в my.cnf указать параметры чтобы не пух один файл - innodb_file_per_table=1
> Один, messages, по любому распухнет.
> Написали же - курите dbmail-util и spamassasin с автоубиванием спама через 60
> дней.

Где письма незнаю). Как написали выше, да - надо курить именно их, скорее всего он действительно не удаляет скаченные оутглюком письма, а может я кому то поставил не удалять скачанные письма на сервере в настройках... вообщем хз, но это помогло, будем время пороюсь в оригинальном ibdata1 выброшенным на свалку, может что то прояснится.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (??) on 08-Апр-13, 21:17 

>> А 10 гигов писем где? :)
> Где письма незнаю).

Вы гениальный сисадмин. Ради этого стоило поставить DBMail.

> скорее всего он действительно не удаляет скаченные оутглюком письма, а может
> я кому то поставил не удалять скачанные письма на сервере в
> настройках...

LOL 1

> вообщем хз, но это помогло

LOL 2  - Бубен из рук не выпускайте теперь


> будем время пороюсь в оригинальном
> ibdata1 выброшенным на свалку, может что то прояснится.

LOL 3. Феерично. Хотел бы посмотреть, как вы будете в ibdata ковыряться, да..

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 08-Апр-13, 23:23 
>>> А 10 гигов писем где? :)
>> Где письма незнаю).
> Вы гениальный сисадмин. Ради этого стоило поставить DBMail.

Я ваш кумир теперь?

>> скорее всего он действительно не удаляет скаченные оутглюком письма, а может
>> я кому то поставил не удалять скачанные письма на сервере в
>> настройках...
> LOL 1

Рад что вам понравилось

>> вообщем хз, но это помогло
> LOL 2  - Бубен из рук не выпускайте теперь

Вы педант.


>> будем время пороюсь в оригинальном
>> ibdata1 выброшенным на свалку, может что то прояснится.
> LOL 3. Феерично. Хотел бы посмотреть, как вы будете в ibdata ковыряться,
> да..

За отдельную плату вы наверное мне все там расковыряете ), разжуете и в рот положете.

По делу, много было вопросов, "зачем тебе надо было?", надо было думать перед тем как делать", а толку ? нечего было сказать? повыпендривоаться? Не проще промолчать если кроме LOLов нечего больше высказать. Вопрос не стоил и выеденного яйца.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

16. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 09-Апр-13, 06:31 

> По делу, много было вопросов, "зачем тебе надо было?", надо было думать
> перед тем как делать", а толку ? нечего было сказать? повыпендривоаться?
> Не проще промолчать если кроме LOLов нечего больше высказать. Вопрос не
> стоил и выеденного яйца.

- у меня ibdata1 занимает слишком дофига места, что мне делать?
- удали этот файл, это информация для генератора случайных писем.


----

дельный совет я выдал в #3, но его вы не осилили, как и многие другие советы.
Ё-нуть пользовательские данные когда не хватает места - это проще всего, да. И разбираться не надо.


Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "DBMAIL и его ibdata1"  +/
Сообщение от ustas83 email(ok) on 09-Апр-13, 08:19 
>> По делу, много было вопросов, "зачем тебе надо было?", надо было думать
>> перед тем как делать", а толку ? нечего было сказать? повыпендривоаться?
>> Не проще промолчать если кроме LOLов нечего больше высказать. Вопрос не
>> стоил и выеденного яйца.
> - у меня ibdata1 занимает слишком дофига места, что мне делать?
> - удали этот файл, это информация для генератора случайных писем.

Просто удалить не прокатит.

> ----
> дельный совет я выдал в #3, но его вы не осилили, как
> и многие другие советы.

Много букаф было, а краткость сестра таланта как известно. Осилил, но без вас и чуть позже.

> Ё-нуть пользовательские данные когда не хватает места - это проще всего, да.
> И разбираться не надо.

Я не просил разбираться с пользовательскими данными, а четко поставил вопрос как сократить данные. dbmail работает у них с POP3 поэтому юзеры хранят данные у себя на компах и они нах не нужны где то ещё. Вы наверное обслуживаете тысячу пользователей раз так педантично отнеслись к моей проблеме.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "DBMAIL и его ibdata1"  +/
Сообщение от fantom (ok) on 09-Апр-13, 09:30 
>[оверквотинг удален]
>> и многие другие советы.
> Много букаф было, а краткость сестра таланта как известно. Осилил, но без
> вас и чуть позже.
>> Ё-нуть пользовательские данные когда не хватает места - это проще всего, да.
>> И разбираться не надо.
> Я не просил разбираться с пользовательскими данными, а четко поставил вопрос как
> сократить данные. dbmail работает у них с POP3 поэтому юзеры хранят
> данные у себя на компах и они нах не нужны где
> то ещё. Вы наверное обслуживаете тысячу пользователей раз так педантично отнеслись
> к моей проблеме.

Вопрос на самом деле не в количестве пользователей, а в адекватности настроек системы...

Но если вас устраивает полученный результат... правда не советовал бы рекомендовать сей рецепт кому-то еще дабы не случайно не опростоволоситься.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 09-Апр-13, 11:00 

> Вопрос на самом деле не в количестве пользователей, а в адекватности настроек
> системы...

.... в адекватности выбирающего, настраивающего и обслуживающего систему.
В адекватности в принципе всех действий с системой. Удаление почты - так-то это уже далеко не настройка.

> Но если вас устраивает полученный результат... правда не советовал бы рекомендовать сей
> рецепт кому-то еще дабы не случайно не опростоволоситься.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

20. "DBMAIL и его ibdata1"  +/
Сообщение от PavelR (ok) on 09-Апр-13, 11:09 

> Я не просил разбираться с пользовательскими данными, а четко поставил вопрос как
> сократить данные.

Сократить данные - разве это не разобраться с ними? У вас нарушена логика.
Вы четко с ними разобрались - взяли их и удалили.

> dbmail работает у них с POP3 поэтому юзеры хранят
> данные у себя на компах и они нах не нужны где
> то ещё.

Вопрос: нафига вам DBMail, если вы в нем хранить ничего не собираетесь.
Зачем вам IMAP-почтовый сервер, если вы используете только POP3?

> Вы наверное обслуживаете тысячу пользователей раз так педантично отнеслись к моей проблеме.

Сходите, пройдитесь, на кнопки reset понажимайте, на все какие увидите. Я считаю, что это как минимум не слабее ("равносильно") удаления 10Гб почты. На десяти ваших пользователях это сделать недолго и для вас и для них будет таким же приятным развлечением.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру