URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 41678
[ Назад ]

Исходное сообщение
"OpenNews: В BSD системах найдена ошибка, существующая уже 25 лет"

Отправлено opennews , 11-Май-08 11:56 
Макр Балмер (Marc Balmer), участник команды разработчиков OpenBSD, разбираясь с причиной падения samba при чтении содержимого определенных директорий на  MS-DOS разделах, натолкнулся (http://www.vnode.ch/fixing_seekdir) на ошибку в реализации функции seekdir(), код которой унаследован со времен релиза 4.2BSD, выпущенного в августе 1983 года. Ошибке подвержены все BSD системы, включая Mac OS X.


Маршал Кирк Маккьюзик (Marshall Kirk McKusick (http://en.wikipedia.org/wiki/Marshall_Kirk_McKusick)), 25 лет назад разработавший реализацию *dir() функций, рассказал Макру Балмеру: "Вероятно вы исправили только одну из моих ошибок :-) До появления реализации *dir() команд, программы разбирали содержимое директорий напрямую. Написав библиотеку *dir(), я  перевел на ее использование 22 программы (большой процент программ доступных в то время под Unix), напрямую интерпретирующих содержимое директорий."

URL: http://www.osnews.com/story/19731
Новость: http://www.opennet.me/opennews/art.shtml?num=15812


Содержание

Сообщения в этом обсуждении
"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено .snt , 11-Май-08 11:56 
Форточек ещё в помине не было, не догонят (:

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено mahoro , 11-Май-08 12:12 
Вот уж действительно в любом коде можно найти хотя бы одну ошибку )

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено uvizhe , 12-Май-08 07:26 
Кнут готов с вами поспорить ;)
На деньги))

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено User294 , 13-Май-08 00:41 
Главное - объем кода и сложность реализуемой задачи.Скажем программу hello world можно вылизать идеально.А вот попробуйте написать что-то типа Blender`а и чтоб без единого бага?Слабо?:)Мне почему-то кажется что Кнуту тоже.При том если ему и не слабо написать без багов, ему слабо в 1 харю написать нужное количество кода.А где десятки мегабайтов кода от Кнута?Ну вот то-то и оно ;)

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 11-Май-08 12:14 
АААА  держите меня

> Балмер

а новость только начинаю читать %)))


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 11-Май-08 12:16 
да уж... бородато пасхальное йайцо-то...

тут реально всем завидовать и не хныкать


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено John the User , 13-Май-08 18:50 
>да уж... бородато пасхальное йайцо-то...

Супер-баян.Всем баянам баянищще!


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Блин прошел по одной ссылке , 11-Май-08 14:45 
Блин, прошел по одной ссылке( про Marshall Kirk McKusick), а там такое:

>He lives in California with Eric Allman, his domestic partner since graduate school.

Чуть не стошнило. Мда, не дружат они там в бсд с головой. Хорошо хоть есть линукс и гпл.


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Аноним , 11-Май-08 15:21 
Ну вы как маленький прям, бабы и линуксоидам тоже не дают... Не всем же своих жен из "кожанных клубов" мочить, нормальные люди как-то ищут выход из положения без растворения трупов в серной кислоте :)

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Аноним , 11-Май-08 16:28 
Да ладно вам, хорошие парни:

Eric Allman:
There is some sort of perverse pleasure in knowing that it's basically impossible to send a piece of hate mail through the Internet without its being touched by a gay program. That's kind of funny.

http://en.wikipedia.org/wiki/Eric_Allman


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Harald , 11-Май-08 20:26 
Фу! sendmail написал пидор!

Какие ему есть альтернативы?


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Zert , 11-Май-08 20:54 
postfix

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Michael Shigorin , 11-Май-08 21:38 
>postfix

...и то, что Red Hat на него до сих пор не переехал -- часть причины эээ... невоспринимания их всерьёз for me :-)

А вообще да, новость некисло отдаёт историей...


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено cmpxchg , 11-Май-08 21:59 
Кстати, раз уж пошла такая пьянка... Хотелось бы узнать, почему Вы не воспринимаете postfix всерьез. Я немного работал с sendmail ( и слышал краем уха, что он очень дырявый ), но с postfix вообще не работал. В обозримом будущем придеться поднимать либо то, либо другое в интранете для небольшого ( до 20-30 ) количества юзеров, поэтому хотелось бы по возможности услышать, что такого с postfix не так.

"(offtopic) postfix"
Отправлено Michael Shigorin , 11-Май-08 22:09 
>Кстати, раз уж пошла такая пьянка... Хотелось бы узнать, почему Вы не
>воспринимаете postfix всерьез.

Эх, опять криво сформулировал.

>В обозримом будущем придеться поднимать либо то, либо другое
>в интранете для небольшого ( до 20-30 ) количества юзеров, поэтому
>хотелось бы по возможности услышать, что такого с postfix не так.

Наоборот, крайне рекомендую; примерно с 2001 года только его и использую.

В сторону exim смотрел, но по разным объективным (более странный продукт и апстрим, что впоследствии выразилось в уязвимостях и уходе на пенсию) и субъективным (с sm8, который был по умолчанию в RHL/BCL, на postfix, который по умолчанию в ALT -- было переходить проще, чем сперва собрать exim3, потом въехать, как тут всё хорошо, но по-другому, и потом подниматься) причинам остановился на постфиксе -- и до сих пор ни одного повода об этом сожалеть не было.  Возможно, свали тогда с Black Cat на Debian, как планировалось -- сидел бы сейчас на exim4 и тоже был доволен.

А ироническое отношение -- к Red Hat и прочему ынтерпрайзу как раз ;-)  Которым лучше самим геями прослыть, чем соседи подумают, что они изменились.


"(offtopic) postfix"
Отправлено prapor , 11-Май-08 22:17 
>А ироническое отношение -- к Red Hat и прочему ынтерпрайзу как раз
>;-)  

Ой, Миша, не надо ля-ля ты бы видел тот ынтырпрайз, что пишут наши программисты-сатанисты, ты бы так не говорил. После него *BSD - идеальный продукт. ;)

> Которым лучше самим геями прослыть, чем соседи подумают, что
>они изменились.

Кому как...


"(offtopic) ынтырпрайзъ"
Отправлено Michael Shigorin , 11-Май-08 22:22 
>ты бы видел тот ынтырпрайз

"нашла чем хвастаться" (c)


"(offtopic) ынтырпрайзъ"
Отправлено prapor , 11-Май-08 23:27 
Не, это к твоим же словам - хуже всегда найдется ;)

"(offtopic) postfix"
Отправлено Harald , 11-Май-08 23:57 
>[оверквотинг удален]
>>;-)  
>
>Ой, Миша, не надо ля-ля ты бы видел тот ынтырпрайз, что пишут
>наши программисты-сатанисты, ты бы так не говорил. После него *BSD -
>идеальный продукт. ;)
>
>> Которым лучше самим геями прослыть, чем соседи подумают, что
>>они изменились.
>
>Кому как...

А можно поподробнее, что за ынтырпрайз и что за программисты?

Ушел изучать биографии разработчиков postfix :)


"(offtopic) postfix"
Отправлено Michael Shigorin , 12-Май-08 00:58 
> А можно поподробнее, что за ынтырпрайз и что за программисты?
>Ушел изучать биографии разработчиков postfix :)

Эт Серж явно не про postfix.  Впрочем, обсуждение альтернативы программе, написанной одним педиком, уже сильно ушло от оригинального обсуждения :)


"(offtopic) postfix"
Отправлено Nick , 12-Май-08 08:34 
> написанной одним педиком

как-то грубовато...


"(offtopic) postfix"
Отправлено Dvorkin , 13-Май-08 19:25 
тысячи админов ковыряясь в сендмайл возводили руки к небу и говорили: "пидарас какой-то написал"
Nick, пидарас - это не ориентация, это состояние души :)

"(offtopic) postfix"
Отправлено Nick , 13-Май-08 19:29 
>тысячи админов ковыряясь в сендмайл возводили руки к небу и говорили: "пидарас
>какой-то написал"
>Nick, пидарас - это не ориентация, это состояние души :)

ну, в этом месте не могу не согласиться ;) Ибо даже приходилось смотреть исходники
шлимыла и они исполнены в не самом лучшем стиле (уровень студента, курс 4-5)


"(offtopic) postfix"
Отправлено serg1224 , 14-Май-08 12:53 
>...пидарас - это не ориентация, это состояние души :)

Да, душа первична :-D


"(offtopic) postfix"
Отправлено User294 , 13-Май-08 00:47 
>Ой, Миша, не надо ля-ля ты бы видел тот ынтырпрайз, что пишут
>наши программисты-сатанисты, ты бы так не говорил.

А много от наших пардон энтерпрайз софта то? :)

> После него *BSD - идеальный продукт. ;)

Все познается в сравнении.Мне вот по результатам сравнения debian-based нравятся.То есть дебиан и убунта.Для моих задач да и вообще по жизни.А bsd - система с некоторыми интересностями.И некоторыми бестолковостями.И кучей дурацких проблем на ровном месте (наверное зарезервировано для любителей BSDM с системой :D).


"(offtopic) postfix"
Отправлено serg1224 , 11-Май-08 23:12 
>Возможно, свали
>тогда с Black Cat на Debian, как планировалось -- сидел бы
>сейчас на exim4 и тоже был доволен.

Сижу на Debian'е и пользую Postfix. Соответствующий deb-пакет в репозитарии имеется. Exim сношу сразу после установки Debian. Exim не стал пользовать из-за монолитной архитектуры, хотя говорят, что он проще в настройке чем Postfix.

Уже года 3 пользую Postfix и тоже ни разу не возникло желание перейти на что-нибудь другое. Припаять можно практически всё что угодно: спам-фильтры, антивирусы и прочее.

Новобранцам посоветую не заблудиться в море информации :-) Если с английским особых проблем нет, то читайте оригинальный сайт http://www.postfix.org/ - это самый короткий путь. Информации на сайте много, но как мне кажется, ее можно было бы лучше структурировать. И еще. Сначала нужно понимание технологии (SMTP, Grey List и др.), а уже потом смотрите как это делает Postfix, т.е. при необходимости читайте RFC.


"(offtopic) postfix"
Отправлено Frank , 12-Май-08 10:03 
>> Exim не стал пользовать из-за монолитной архитектуры

Что вы имеете в виду? У Exim'а два варианта конфигурации: один большой конфигурационный файл, либо множество мелких в стиле rc.d. При запуске dpkg-reconfigure exim4-config первым вопросом к вам будет: какой из вариантов вас больше устраивает.


"(offtopic) postfix"
Отправлено serg1224 , 12-Май-08 11:32 
>>> Exim не стал пользовать из-за монолитной архитектуры
>
>Что вы имеете в виду? У Exim'а два варианта конфигурации: один большой
>конфигурационный файл, либо множество мелких в стиле rc.d. При запуске dpkg-reconfigure
>exim4-config первым вопросом к вам будет: какой из вариантов вас больше
>устраивает.

Я не про конфиг. Я имел в виду, что один процесс обслуживает все задачи, а у Postfix для каждой задачи свой подпроцесс с ограничениями, ибо так безопасней.


"(offtopic) postfix"
Отправлено Аноним , 12-Май-08 14:07 
Postfix does not have security partitions between individual, mutually distrustful, elements of the mail system as qmail does, either. Most dæmons run under the same, single, global UID (specified by the mail_owner keyword in main.cf). A compromise of one of those dæmons immediately compromises all of the others, therefore.

Furthermore, Postfix does not even fully utilise the user partitioning capabilities of the operating system to fully insulate users from other users as qmail does.

если вам секурити важно - qmail; если удобство - exim4. Postfix - нечто среднее, ни рыба ни мясо :)
Хотя, это было справедливо в году эдак 2004, сейчас - хз


"(offtopic) postfix"
Отправлено serg1224 , 14-Май-08 12:26 
>[оверквотинг удален]
>main.cf). A compromise of one of those dæmons immediately compromises all
>of the others, therefore.
>
>Furthermore, Postfix does not even fully utilise the user partitioning capabilities of
>the operating system to fully insulate users from other users as
>qmail does.
>
>если вам секурити важно - qmail; если удобство - exim4. Postfix -
>нечто среднее, ни рыба ни мясо :)
>Хотя, это было справедливо в году эдак 2004, сейчас - хз

Вот-вот... давно это было. qmail - весьма уважаемый, но давно заброшенный продукт. Патчей к нему конечно понаделали, но уже совсем другие авторы. По уровню безопасности Postfix может и уступает qmail'у, но тоже весьма достоен.


"(offtopic) postfix"
Отправлено Michael Shigorin , 15-Май-08 16:16 
>если вам секурити важно - qmail

Причём за закрытым наглухо файрволом, ещё лучше -- в исходниках, ага.

Всё равно для практического применения он давно неадекватен...


"(offtopic) postfix"
Отправлено Dvorkin , 15-Май-08 21:09 
>Всё равно для практического применения он давно неадекватен...

кхе кхе.
сударь, позвольте с вами не согласиться
во-первых, решения, основанные на qmail отлично продаются
во-вторых, судя по моему заграничному smtp трафику процент примерно таков:
35% qmail
35% postfix
20% exchange
оставшиеся 10% - всякая дрянь вроде сендмайла


"(offtopic) postfix"
Отправлено Dvorkin , 15-Май-08 21:27 
постфиксяторы, кстати, не только сами себе злобные буратины. они еще и других подставляют
постоянно замечаю. если сервер отказывается принимать почту под нагрузкой или в часы пик или вообще лежит - это не какой-нибудь Эксчендж, спрятанный за сендмайл - это обязательно постфикс! хуже винды :)
есть у них "фича", которая которая мешает не только им самим адекватно обрабатывать большие потоки. они ей почему-то очень гордяццо, хотя по сути это весьма вероломная вещь: предварительное резервирование соединения.

кумайл - это такая лакмусовая бумажка: справился - не зря учился


"(offtopic) postfix"
Отправлено pavel_simple , 16-Май-08 09:08 
>сендмайл - это обязательно постфикс! хуже винды :)

видимо каждому админу свой инструмент -- НО ИМХО qmail уже вообще никак не может выступать современным и удобным инструментом


"(offtopic) postfix"
Отправлено Dvorkin , 16-Май-08 14:13 
оговорюсь, это мое ИМХО.
представьте: у вас высоконагруженный сервер почты.
у вас тысячи подключений из внешнего мира от чужих серверов по smtp
и постфикс ставит себя в привилегированое положение: он открыл и держит подключение, даже если ему передавать нечего.
когда таких постфиксов мало - ничего, фиг с инми. а когда у вас выбирается ограничение в 1000 сокетов и вы обнаруживаете, что половина - абсолютно пустые вас это начинает раздражать. вы вводите ограничение на время активности подкючения: если по каналу не передаются данные в течении например 30 секунд - сокет принудительно закрывается.
все отлично. число линков резко падает. у вас держится например 50 постоянно открытых сокетов.
и вдруг раздается тревожный звоночек от руководства: "мне не приходит письмо!!!"
вы копаетесь в логах и обнаруживаете, что подключение от передающего сервера было, письма приходили а вот этого письма-то как раз и нет!
позже выясняется, что письмо было размером 2 мб, а другие пришедшие от него же размером в 1мб.
вы видите подключение в заданный момент времени, а данных НЕТ. за те 30 секунд, которые вы дали на активность данные от того постфикса передаваться не начали - соединени закрылось с вашей стороны.
постфиксу письмо упало в очередь, он открыл соединение, начал обрабатывать письмо фильрами, но из-за высокой нагрузки оно не начало передаваться за 30 секунд! соединение закрыто, внутренняя ошибка сервера. он ничего не говорит отправляющему, пытается пердать еще через некоторое время. ситуация повторяется. отправитель не в курсе. получатель ждет. все бесятся, шишки - на админа сервера qmail, у которого с других серверо приходят письма за сукунду.
тамошний отправитель отправляет письмо на соседний постфикс. два высоконагруженых постфикса скрипят-скрипят но содинение между ними наличествует и не закрывается и письмо долетает. все рады. админ постфикса - молодец, не смотря на то, что его сервер еле дышит и открыл во мнешний мир и из внешнего мира максимальное количество сокетов! админ qmail ищет способ без поднятия таймаута получить таки письмо от этого скрипучего трактора.
поднять таймаут - значит обречь себя на множество бессмысленно занятых системных ресурсов.  дилема!

разрулил. поднял таймаут или еще что-то сделал. вычислил. все довольны и все получили свою почту.

теперь получатель отправляет ответ. ответ не уходит!
тамошний постфикс выжрал все доступные сокеты на свои нужды. они пустуют, но он их упорно держит. и не хочет принимать еще одно соединение. час пик. разгар рабочего дня.
он сам захлебнулся в своих испражнениях. но от понимания этого не легче.

господа, если не знаете - ставьте exchange прикрыв его sendmail'ом. пожалейте людей


"(offtopic) postfix"
Отправлено Dvorkin , 13-Май-08 19:31 
постмастеры вас читают, хихикают и молча ставят qmail

"(offtopic) postfix"
Отправлено x0r , 13-Май-08 22:07 
>постмастеры вас читают, хихикают и молча ставят qmail

дык, "кумыло" уже, вроде бы не развивается?! нет?


"(offtopic) postfix"
Отправлено Dvorkin , 15-Май-08 00:37 
насчет не развивается вопрос спорный, а вот то что постоянно развивающийся postfix делает на той же нагрузке - факт моей биографии

"(offtopic) postfix"
Отправлено serg1224 , 24-Май-08 17:45 
>насчет не развивается вопрос спорный

Чего ж спорный-то?! Сам автор уж давненько его не трогает, а патчи от других разрабочиков к славе профессора пусть не примазываются :-)

>а вот то что постоянно развивающийся postfix
>делает на той же нагрузке - факт моей биографии

В цифрах это как-то можно выразить? Чтоб понятно было о чем речь.


"(offtopic) postfix"
Отправлено Dvorkin , 24-Май-08 18:38 
>Чего ж спорный-то?! Сам автор уж давненько его не трогает, а патчи
>от других разрабочиков к славе профессора пусть не примазываются :-)

не спорю.

>В цифрах это как-то можно выразить? Чтоб понятно было о чем речь.

qmail 1000 пользователей 0.2 % CPU постоянная(!) нагрузка, 288000 подключений по SMTP в сутки, open-source антиспам/антивирус не демонизированы, все базы и обработка - на той же самой машине. все базы в mysql. вмешательства не требует. админ -я. Linux. присьма приходят моментально.

postfix 8000 пользователей 60-90% CPU, KAS, KAV, частично разнесен на 2 машины + внешний рейд, постоянные проблемы с локами на maildir, очередью. админ - один из коммитеров FreeBSD, постмастер со стажем. задержка доставки - до нескольких часов.


"(offtopic) postfix"
Отправлено serg1224 , 24-Май-08 22:15 
>qmail 1000 пользователей 0.2 % CPU постоянная(!) нагрузка, 288000 подключений по SMTP
>в сутки, open-source антиспам/антивирус не демонизированы, все базы и обработка -
>на той же самой машине. все базы в mysql. вмешательства не
>требует. админ -я. Linux. присьма приходят моментально.
>
>postfix 8000 пользователей 60-90% CPU, KAS, KAV, частично разнесен на 2 машины
>+ внешний рейд, постоянные проблемы с локами на maildir, очередью. админ
>- один из коммитеров FreeBSD, постмастер со стажем. задержка доставки -
>до нескольких часов.

RAM сколько?
Какие процессы работают параллельно?

Аппаратно машины неидентичны, да и "непочтовый" софт наверняка тоже разный. Сравнивать нереально.

Если Вы думаете, что машина, где крутится Postfix мощнее, то из описания этого не видно. Разнесение некоторых софтинок на несколько машин усложняет всю систему, это может и ухудшить производительность.

Касперского менять не пробовали?
Попробуйте DrWeb.

> админ - один из коммитеров FreeBSD

Оставьте эмоции. Смотрите на цифры и не стесняйтесь читать доки и рекомендации разработчиков. http://www.postfix.org/documentation.html
В конце концов, соберите из исходников только то, что Вам нужно.
Даже ГУРУ иногда забывают нажать ВКЛ :-).

>задержка доставки - до нескольких часов.

В то, что такое случается я еще могу поверить, но виноват ли в этом postfix?! Переведите postfix на Linux и картина может сильно измениться.


"(offtopic) postfix"
Отправлено Dvorkin , 24-Май-08 22:46 
>RAM сколько?

на первой машине - 512Mb
на второй - 2Gb

>Какие процессы работают параллельно?

только почтовые.

>Аппаратно машины неидентичны, да и "непочтовый" софт наверняка тоже разный. Сравнивать нереально.

аппаратно
первая машина - это VPS внутри openVz c отданным под этот VPS 10% времени CPU. CPU: Intel 2xXeon 2.4 core duo
вторая - три железки: две физических машины Intel Core Duo 2.4 каждая с одним CPU, + железный SCSI-raid

>Если Вы думаете, что машина, где крутится Postfix мощнее, то из описания
>этого не видно. Разнесение некоторых софтинок на несколько машин усложняет всю
>систему, это может и ухудшить производительность.

см выше.

>Касперского менять не пробовали?
>Попробуйте DrWeb.

пробовали. серьезной разницы не заметно. не в антиспаме дело.

>> админ - один из коммитеров FreeBSD
>Оставьте эмоции. Смотрите на цифры и не стесняйтесь читать доки и рекомендации
>разработчиков. http://www.postfix.org/documentation.html
>В конце концов, соберите из исходников только то, что Вам нужно.
>Даже ГУРУ иногда забывают нажать ВКЛ :-).
>>задержка доставки - до нескольких часов.
>В то, что такое случается я еще могу поверить, но виноват ли
>в этом postfix?! Переведите postfix на Linux и картина может сильно
>измениться.

виноват. и именно постфикс. выбираются лимиты на одновременно открытые подключения извне и вовне и машина отказывается принимать еще одно SMTP-подключение. максимум 600 линков извне.
на первой же машине количество одновременно открытых соединений в часы пик не переваливает за 30.
таймауты на поддержание соединения одинаковы - 25 секунд.

это не эмоции. это две машины, работающие рядом. одну делал я, другую - мой коллега.


"(offtopic) postfix"
Отправлено serg1224 , 24-Май-08 22:54 
>виноват. и именно постфикс. выбираются лимиты на одновременно открытые подключения извне и
>вовне и машина отказывается принимать еще одно SMTP-подключение. максимум 600 линков
>извне.
>на первой же машине количество одновременно открытых соединений в часы пик не
>переваливает за 30.
>таймауты на поддержание соединения одинаковы - 25 секунд.

"timeout" искали на http://www.postfix.org/postconf.5.html
там этого добра много :-)

>это две машины, работающие рядом. одну делал я, другую
>- мой коллега.

ОС всё-таки разные.


"(offtopic) postfix"
Отправлено Dvorkin , 24-Май-08 23:20 
>"timeout" искали на http://www.postfix.org/postconf.5.html
>там этого добра много :-)

мой коллега в курсе.

>>это две машины, работающие рядом. одну делал я, другую
>>- мой коллега.
>ОС всё-таки разные.

рейд у постфикса подключен физически.
кто-то тут из фрибизидяшников свистел что Мускуль во фре работает быстрее, файловая система работает быстрее... :) на самом деле, подозреваю, что работают примерно одинаково. примерно. ну чтобы разница была на два порядка??? это уж увольте, дело не в ОС.
на фре (постфикс) FS дефолтная
на линукс FS дефолтная
мускули одной версии.
оба почтаря пересобирались несколько раз чтобы получить оптимум от каждого.
забавное было соревнование.

есть что еще предположить?


"(offtopic) postfix"
Отправлено serg1224 , 24-Май-08 23:16 
А трафик, кстати в одинаковом виде ДОХОДИТ до postfix'а и qmail'а?
Фаерволы, шейперы, забитость канала по скорости и по количеству одновреиенных соединений и задержки в канале могуть накладывать серьезный отпечаток на TCP.  Возможно из-за этого postfix кажется неадекватным.

"(offtopic) postfix"
Отправлено Dvorkin , 24-Май-08 23:45 
>А трафик, кстати в одинаковом виде ДОХОДИТ до postfix'а и qmail'а?
>Фаерволы, шейперы, забитость канала по скорости и по количеству одновреиенных соединений и
>задержки в канале могуть накладывать серьезный отпечаток на TCP.  Возможно
>из-за этого postfix кажется неадекватным.

отсутствие файервола для всех публичных ресурсов и клиентских подключний - это политика компании.
шейпинг такой, что оба почтаря его не выбирают полностью


"(offtopic) postfix"
Отправлено serg1224 , 25-Май-08 00:40 
>отсутствие файервола для всех публичных ресурсов и клиентских подключний - это
>политика  компании.

Оригинальненько! Ну с закрытием портов еще понятно: в этом нет смысла, ибо тока 25-ый и открыт (по идее). Но вот с количеством полуоткрытых сессий Вы как боретесь? Или с количеством соединений с одного узла?

Я так, в общем рассуждаю, но я бы всё-таки покопал в сторону проверки качества работы TCP. Гляньте на досуге tcpdump'ом что там происходит под нагрузкой.

>шейпинг такой, что оба почтаря его не выбирают полностью

Кого его? Канал? Это слишком общО.
Нужно замерить конкретные показатели при пиковых нагрузках. Например, какое время ответа на 25-ом порту TCP? Как сильно отличается от работы при меньшей нагрузке? Тут даже размер MTU может сыграть роль.

Даже банальный ping с большой длиной пакета дает совсем другой результат чем, просто ping.


"(offtopic) postfix"
Отправлено Dvorkin , 25-Май-08 02:46 
>Оригинальненько! Ну с закрытием портов еще понятно: в этом нет смысла, ибо
>тока 25-ый и открыт (по идее). Но вот с количеством полуоткрытых
>сессий Вы как боретесь? Или с количеством соединений с одного узла?

он (в постфиксе) ограничивает количество одновременных подключений с одного узла. сколько - не в курсе.
я в qmail - не ограничиваю

>Я так, в общем рассуждаю, но я бы всё-таки покопал в сторону
>проверки качества работы TCP. Гляньте на досуге tcpdump'ом что там происходит
>под нагрузкой.

под нагрузкой в постфиксе происходит следующее (без tcpdump видно): куча соединений из внешнего мира. выбран лимит. соединения активны. спамят.

>>шейпинг такой, что оба почтаря его не выбирают полностью
>
>Кого его? Канал? Это слишком общО.

конкретно.
bytes_in: 50Gb/month linux/qmail
bytes_in: 300Gb/month freebsd/postfix

>Нужно замерить конкретные показатели при пиковых нагрузках. Например, какое время ответа на
>25-ом порту TCP?

на постфикс - пока не было лимита в 600 соединений до появления helo могло пройти 60 секунд. после установки лимита в кол-во соединений - несколько секунд и бамц - max allowed.
qmail - <1 sec

> Как сильно отличается от работы при меньшей нагрузке?
>Тут даже размер MTU может сыграть роль.

сюда не имеет смысла копать. читайте выше.

>Даже банальный ping с большой длиной пакета дает совсем другой результат чем,
>просто ping.

следующим советом будет пересобрать ядро :)


"(offtopic) postfix"
Отправлено User294 , 25-Май-08 04:07 
Почитал я все это и ...
Вывод: e-mail это такая морально устаревшая система для которой нормального MTA то нет.Один тормоз, на второй автор забил, третий лагает, четвертый надо прикрывать и денег стоит.И все это гоняет почту... а если точнее то спам в основном.В среднем по планете, 9 из доставляемых писем являетяс спамом.И лишь 1 из 10 - полезное :)))))).КПД всех этих чудо решений в итоге на уровне паровоза.Интересно, кому-то в 2008 году придет в голову флеймить о преимуществах и недостатках разных моделей паровозов? :)

"(offtopic) postfix"
Отправлено serg1224 , 25-Май-08 05:09 
>Почитал я все это и ...
>Вывод: e-mail это такая морально устаревшая система для которой нормального MTA то
>нет.Один тормоз, на второй автор забил, третий лагает, четвертый надо прикрывать
>и денег стоит.И все это гоняет почту... а если точнее то
>спам в основном.В среднем по планете, 9 из доставляемых писем являетяс
>спамом.

Проблема не в MTA, а в SMTP. Протокол получил широчайшее распространение (глобальное), прежде чем люди стали задумываться над безопасностью. Теперь изменить стандарт трудно. По крайней мере ВСЕ ПОПЫТКИ оказались тщетными и ни одно дополнение/расширение/улучшение не получило глобального признания. Каждый борется со спамом на свой вкус и лад.

В сложившейся ситуации выход один - не использовать почту вообще, а вместо нее предложить пользователям отправку писем через Ваш сайт или организовать форум для зарегистрированных пользователей.


"(offtopic) postfix"
Отправлено Dvorkin , 25-Май-08 13:54 
>Почитал я все это и ...
>Вывод: e-mail это такая морально устаревшая система для которой нормального MTA то
>нет.

да, почтовая система как протокол морально устарела.
да, чтобы все-все сразу работало и не надо было думать - нет.

>Один тормоз, на второй автор забил, третий лагает, четвертый надо прикрывать
>и денег стоит.И все это гоняет почту... а если точнее то
>спам в основном.В среднем по планете, 9 из доставляемых писем являетяс
>спамом.И лишь 1 из 10 - полезное :)))))).КПД всех этих чудо
>решений в итоге на уровне паровоза.Интересно, кому-то в 2008 году придет
>в голову флеймить о преимуществах и недостатках разных моделей паровозов? :)

вы рассуждаете не с той стороны.
да, протокол морально устарел, да, есть разные пришлепки на него и для MTA.
но! проблем стало бы в разы меньше, если бы с ростом интернет в мире пропорционально росло число грамотных администраторов, cпособных мыслить как программист. согласитесь, все эти MS Exchange "из коробки", postfix за 1 минуту из RPM - все это в долгосрочной переспективе оболванивание IT-специалистов. в том смысле, что люди просто перестают понимать принципы функционирования своих (пусть даже open-source!) систем и высасывают из пальца обьяснения типа "полузакрытых TCP-соединений"


"(offtopic) postfix"
Отправлено serg1224 , 25-Май-08 04:11 
>он (в постфиксе) ограничивает количество одновременных подключений с одного узла.
> сколько - не в курсе.

Поставьте 2.

>под нагрузкой в постфиксе происходит следующее (без tcpdump видно):
>куча соединений из внешнего мира. выбран лимит. соединения активны.
>спамят.

Полуоткрытые соединения вы здесь не увидите. Настройте фаервол хотя бы для защиты от SYN-флуда.

>конкретно.
>bytes_in: 50Gb/month linux/qmail
>bytes_in: 300Gb/month freebsd/postfix

Видимо, спама на postfix просачивается много и по той же причине висит много открытых соединений. Спамерные соединения нужно стараться распознавать и рубить как можно раньше, еще до передачи тела почтового сообщения. На это нужно пару секунд, после чего соединение закрывается. Надо, признать, при более или менее сложных и витвящихся алгоритмах обработки почты в postfix, нужно проявлять внимательность, внося изменения в конфиг, ибо достаточно легко можно не заметить "лишний" пробельчик.

>на постфикс - пока не было лимита в 600 соединений до появления
>helo могло пройти 60 секунд. после установки лимита в кол-во соединений
>- несколько секунд и бамц - max allowed.
>qmail - <1 sec

У вас для qmail и для postfix одинаковые фильтры борьбы со спамом? И последовательность этих фильтров тоже одинаковая?
Включите debug для домена назойливого отправителя. Там увидите, что за ужас творится. Возможно одна и та же проверка выполняется несколько раз (легко!).

>следующим советом будет пересобрать ядро :)

Честно говоря, я не любитель этого занятия :-)


"(offtopic) postfix"
Отправлено Dvorkin , 25-Май-08 13:43 
>Поставьте 2.
>Полуоткрытые соединения вы здесь не увидите. Настройте фаервол хотя бы для защиты
>от SYN-флуда.

я не делаю это на qmail. почему?

>>конкретно.
>>bytes_in: 50Gb/month linux/qmail
>>bytes_in: 300Gb/month freebsd/postfix
>Видимо, спама на postfix просачивается много и по той же причине висит
>много открытых соединений.

обьем трафика пропорционален количеству пользователей.

> Спамерные соединения нужно стараться распознавать и рубить как
>можно раньше, еще до передачи тела почтового сообщения. На это нужно
>пару секунд, после чего соединение закрывается. Надо, признать, при более или
>менее сложных и витвящихся алгоритмах обработки почты в postfix, нужно проявлять
>внимательность, внося изменения в конфиг, ибо достаточно легко можно не заметить
>"лишний" пробельчик.

он пытается оттюнинговать постфикс чуть ли не каждый день. влияет слабо.

>>на постфикс - пока не было лимита в 600 соединений до появления
>>helo могло пройти 60 секунд. после установки лимита в кол-во соединений
>>- несколько секунд и бамц - max allowed.
>>qmail - <1 sec
>
>У вас для qmail и для postfix одинаковые фильтры борьбы со спамом?

для qmail - dspam, для postfix - KAS
работают с одинаковым качетсвом и примерно с одинаковой скоростью. за лицензию на KAS выложена очень круглая сумма - анлим.

>И последовательность этих фильтров тоже одинаковая?

да. rbl|smtp|antispam|antivirus

>Включите debug для домена назойливого отправителя. Там увидите, что за ужас творится.
>Возможно одна и та же проверка выполняется несколько раз (легко!).

точно! чтобы доставить письмо в майлдир пользователя postfix делает в несколько раз больше обращений к БД pusers. (postfix + cyrus)
qmail - два к БД vpopmail. на постфикс процесс mysql ощутимо кушает ресурсы (5-10% CPU). таблицам регулярно делается optimize, rebuild. таблицы сами по себе небольшие - 8000 записей. у него даже было желание сделать пользовательскую БД в RAM, но нельзя. на предыдущей машине с postfix картина была такая же. там стоял мускуль 4.x. на этом mysql 5.x. другое ядро Фри. без разницы


"(offtopic) postfix"
Отправлено serg1224 , 26-Май-08 07:22 
>>Поставьте 2.
>>Полуоткрытые соединения вы здесь не увидите. Настройте фаервол хотя бы для защиты
>>от SYN-флуда.
>
>я не делаю это на qmail. почему?

Дело хозяйское, но береженого Бог бережет.

>он пытается оттюнинговать постфикс чуть ли не каждый день. влияет слабо.

debug-то что показывает? На каких операциях задумывается postfix?

>>Возможно одна и та же проверка выполняется несколько раз (легко!).
>
>точно! чтобы доставить письмо в майлдир пользователя postfix делает в несколько раз
>больше обращений к БД pusers.

В дебаге видно какие проверки выполняются повторно. Если Вам этого не нужно, то 99%, что ошибка в конфтге.


"(offtopic) postfix"
Отправлено Dvorkin , 26-Май-08 15:21 
>>он пытается оттюнинговать постфикс чуть ли не каждый день. влияет слабо.
>debug-то что показывает? На каких операциях задумывается postfix?

ни знаю. не я рулю тем сервером. дебажить продакшн? хм
запускаешь top - сверху мускуль (5-10% CPU) и ниже куча trivial-rewrite (0-0.1% CPU)
толпа коннектов в мускуль
очередь несколько тыщ писем

>>>Возможно одна и та же проверка выполняется несколько раз (легко!).
>>точно! чтобы доставить письмо в майлдир пользователя postfix делает в несколько раз
>>больше обращений к БД pusers.
>В дебаге видно какие проверки выполняются повторно. Если Вам этого не нужно,
>то 99%, что ошибка в конфтге.

к мускулю обращения простые: SELECT ... FROM users WHERE dom='%x' AND u='%u'
насчет конфига - он оч простой, не знаю там в чем можно сделать ошибку.
впрочем, мне уже это не интересно.
кстати, похожая ситуация у моего знакомого с 4000 ящиками на постфикс.
разные люди - проблема похожая
тоже тюнингует, тюнингует... всякие таймауты размеры буферов...
qmail проще. он просто работает :)


"(offtopic) postfix"
Отправлено serg1224 , 27-Май-08 11:45 
>>>он пытается оттюнинговать постфикс чуть ли не каждый день. влияет слабо.
>>debug-то что показывает? На каких операциях задумывается postfix?
>
>ни знаю. не я рулю тем сервером. дебажить продакшн? хм

Дебагить код posfix'а?! :-D Нет конечно!
Вам помогут следующие параметры main.cf:
debug_peer_list
debug_peer_level

>к мускулю обращения простые: SELECT ... FROM users WHERE dom='%x' AND u='%u'

Мускуль не пользую, но пока знакомился с постфиксом несколько раз наступил на грабли повторных проверок. Их можно и не делать.

>насчет конфига - он оч простой, не знаю там в чем можно
>сделать ошибку.

Поверьте, можно :-)

>впрочем, мне уже это не интересно.

Что ж Вы сразу  не сказали?! А то я тут распинаюсь...

>кстати, похожая ситуация у моего знакомого с 4000 ящиками на постфикс.
>разные люди - проблема похожая
>тоже тюнингует, тюнингует... всякие таймауты размеры буферов...

Миллионы мужиков пьют водку. Наверное это очень полезно для здоровья, т.к. миллионы не могут ошибаться. :-)

>qmail проще. он просто работает :)

Калькулятор проще компьютера и тоже работает. А главное - его настраивать не нужно. :-D

Удачи! :-)


"(offtopic) postfix"
Отправлено serg1224 , 14-Май-08 12:55 
>постмастеры вас читают, хихикают и молча ставят qmail

Разные постмастеры бывают. В т.ч. те, кто не только хихикать умеют, но и вперед смотреть. :-)


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 12-Май-08 08:14 
можт мои 5 копеек не помешают.
exim более гибок, но несколько медленнее шлимыла и постфикса.


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Аноним , 12-Май-08 10:29 
Не хочу плодить флейм, но sendmail самый гибкий MTA, но очень уж сложный в конфигурировании

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 12-Май-08 10:32 
>Не хочу плодить флейм, но sendmail самый гибкий MTA, но очень уж
>сложный в конфигурировании

и, например, с базами данных работает напрямую? Нет?
ах "прикрутить" можно. Так прикрутить и к exim'у что угодно можно,
и вообще на чистом перле (со всем его CPANом) писать обработку мыла можно.

Где тут шлимыльная гибкость?
Ответ прост: в прошлом. Ексим просто напросто много моложе и принял во внимание
много проблем существующих MTA. Это просто прогресс.


"(offtopic) sendmail"
Отправлено Michael Shigorin , 12-Май-08 12:39 
>Где тут шлимыльная гибкость?

В том, что это такой макроассемблер для написания кастомной обработки почты.

>Ответ прост: в прошлом.

Интересно, остались ли у Dear Netch пошлипочты... скорее всего, да -- "работает, не трогай" :)


"(offtopic) sendmail"
Отправлено Nick , 12-Май-08 12:41 
>Интересно, остались ли у Dear Netch пошлипочты... скорее всего, да -- "работает,
>не трогай" :)

"работает - не трогай" - это одно, а проектирование и построение новых систем - другое.
Немало кому предстоит еще строить мыльные системы и определится с MTA заранее - не будет лишним.


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено thesame , 13-Май-08 14:12 
>и, например, с базами данных работает напрямую? Нет?

а кофе в постель тоже MTA должен подавать?


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 13-Май-08 18:38 
>>и, например, с базами данных работает напрямую? Нет?
>
>а кофе в постель тоже MTA должен подавать?

нет, он должен переворачивать с ног на голову заданный эму вопрос.


"Ошибка не в __seekdir(), а в _readdir_unlocked()."
Отправлено MiG , 11-Май-08 16:16 
Ошибка не в __seekdir(), а в _readdir_unlocked().

"The fix is surprisingly simple, not to say trivial: _readdir_unlocked() must not skip directory entries with inode set to zero when it is called from __seekdir()."


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено phpcoder , 11-Май-08 18:16 
Я не понял почему два раза Марка обозвали Макром, если он Marc?!

"s/Макр/Марк/g"
Отправлено Michael Shigorin , 11-Май-08 22:12 
>Я не понял почему два раза Марка обозвали Макром, если он Marc?!

Ага, не хватает Ctrl-Enter, желательно с возможностью маркоподстановки :-)


"OpenNews: В BSD системах найдена ошибка, существующая уже 25..."
Отправлено Nick , 11-Май-08 19:43 
> Как в саус-парке:
> ....

Boch'e зачет :}
тема :)


"OpenNews: В BSD системах найдена ошибка, существующая уже 25..."
Отправлено Bocha , 12-Май-08 06:15 
Спасибо, жаль, камент удалили, посчитали сравнение слишком грубым, наверное. вот толи дело в соседнем неудаленном каменте поливают грязькой систему да программистов, лишь бы не сайт, чего там.

"OpenNews: В BSD системах найдена ошибка, существующая уже 25..."
Отправлено Аноним , 12-Май-08 08:08 
На бис! На бис! :)

"OpenNews: В BSD системах найдена ошибка, существующая уже 25..."
Отправлено Ne01eX , 12-Май-08 06:26 
>Макр Балмер (Marc Balmer)

Да уж, не повезло чуваку с фамилией...


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Reddit , 12-Май-08 12:21 
проклятый MS-DOS...

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Nick , 12-Май-08 12:23 
>проклятый MS-DOS...

о...
зришь в корень! :)


"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Аноним , 12-Май-08 16:11 
"Мария Павловна за Островским шубу шестнадцать лет носила, я у нее перекупила, стала чистить - три воши нашла, одна старая, еще по-аглицки говорит..."

"В BSD системах найдена ошибка, существующая уже 25 лет"
Отправлено Аноним , 13-Май-08 18:44 
>Форточек ещё в помине не было, не догонят (:

Ты так думаиш? А при чем тут они? речь о dos