URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 63982
[ Назад ]

Исходное сообщение
"Высокопроизводительный FTP на базе FreeBSD"

Отправлено lexleo , 07-Фев-06 18:54 
Добрый день, уважаемое сообщество! Передо мной стоит задача построить FTP-сервер где-то на 1 Тб. Юзаю FreeBSD. Для увеличения производительности хочется использовать RAID, но нет ни малейшего опыта в конкретно данной задаче. Отсюда несколько вопросов: что лучше - софтварный или хардварный RAID; если хардварный - то от кого; какой  RAID (0,1,5...),какой собственно софтварный ftp-server. SCSI скорее всего не потяну по финансам, остаётся SATA. Заранее благодарен.  

Содержание

Сообщения в этом обсуждении
"Высокопроизводительный FTP на базе FreeBSD"
Отправлено lavr , 07-Фев-06 19:41 
>Добрый день, уважаемое сообщество! Передо мной стоит задача построить FTP-сервер где-то на
>1 Тб. Юзаю FreeBSD. Для увеличения производительности хочется использовать RAID, но
>нет ни малейшего опыта в конкретно данной задаче. Отсюда несколько вопросов:
>что лучше - софтварный или хардварный RAID; если хардварный - то
>от кого; какой  RAID (0,1,5...),какой собственно софтварный ftp-server. SCSI скорее
>всего не потяну по финансам, остаётся SATA. Заранее благодарен.

почему бы сперва не сделать поиск по форуму?

SATA проблемы не решает, контроллеры так себе, диски и вовсе дрянь, но
если хочется:

1. HW-RAID:

# man arcmsr (Areca SATA II RAID Controller driver)
http://www.areca.com.tw/ - PCI RAID Cards

# man 4 twa (Promise SATA RAID)

RAID должен быть стрипованый, RAID3 и выше (читай про рейды)
ДИСКИ - ну ОЧЕНЬ тщательно подойти к выбору, покупать ТОЛЬКО из списков
рекомендованных (списки от 3ware и Promise)

2. Software RAID:

# man 4 graid3 (очень быстрый RAID3)

или

# man 4 raid

FTP Демоны:

- когда-то давно freebsd вылизывало свой ftp-демон на предмет
быстродействия, устойчивости и обслуживания большого кол-ва соединений.
получился приличный родной демон ftpd, но, точился он под обычный
неуправляемый anonymous доступ.
Родной ftpd хорош, но гибкость НУЛЕВАЯ.

Что интересно, сам freebsd перешел на коммерческий ncftpd - очень
могутный демон, но коммерческий.

Нужно попробовать поставить себе вопросы и ответами на них будет
выбор демона:

- в случае отсутствия обслуживания "virtual-hosts" & "virtual-users" - vsftpd
- если и anonymous и chroot и различные виды авторизации и сопряжение
с базами и virtual-hosts-users, ограничения по классам, соединениям
- proftpd (сопоставимого пока нет). Если учесть что в 1.3 меняют
архитектуру и дошли до улучшения производительности I/O (буфера), то
явно proftpd.

Все верхнее, личные пробы, опыт и imho, за исключением PATA/SATA дисков
и контроллеров - технология г-а-в-н-о.

Ну и еще опыт показывает что в случае PAT/SATA HW-RAID, диски покупать
как уже говорилось из списка рекомендованных, одну модель и c двойным
запасом (если для серьезной работы, а не для хранения мальтимедийного
говна)


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено Lexleo , 08-Фев-06 17:32 
Благодарю за подробный ответ, пошел рыть носом дальше. На самом деле на выходе должна получиться мультимедийная файлопомойка.

"Высокопроизводительный FTP на базе FreeBSD"
Отправлено satelit , 08-Фев-06 13:13 
Не вижу смысла ставить RAID ради производительности, все равно даже гигабитные сетевые интерфейсы не смогут нагрузить интерфейс винта на полную мощность.

"Высокопроизводительный FTP на базе FreeBSD"
Отправлено alk , 08-Фев-06 13:34 
>Не вижу смысла ставить RAID ради производительности, все равно даже гигабитные сетевые
>интерфейсы не смогут нагрузить интерфейс винта на полную мощность.

Ну а что вам мешает поставить несколько гигабитных сетевух и объеденить
их?


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено satelit , 08-Фев-06 13:45 
Да хоть во все слоты по гигабиту, все равно не нагрузит, т.к. пропускная способность PCI меньше чем может дать IDE контроллер.

"Высокопроизводительный FTP на базе FreeBSD"
Отправлено gdenis , 08-Фев-06 15:19 
>Да хоть во все слоты по гигабиту, все равно не нагрузит, т.к.
>пропускная способность PCI меньше чем может дать IDE контроллер.

Какого именно PCI - PCI32/33, PCI64/66, PCI64/133 или PCI Express?


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено lavr , 08-Фев-06 14:30 
>Не вижу смысла ставить RAID ради производительности, все равно даже гигабитные сетевые
>интерфейсы не смогут нагрузить интерфейс винта на полную мощность.

н-да, высокопроизводительный ftpd вам не грозит.

возьмите ненагруженную тачку, любой ftp и сделайте следующее:

- запустите один сеанс download (запишите скорость)
- запустите два сеанса download но чтобы они были с одного диска и с одной
FS, два разных файла (запишите скорость)
- для трех сеансов, условия те же что и для двух
- для четырех
- для пяти
...
завершить на том кол-ве сеансов, пока не наступит просветление в голове,
не забывайте замерять скорость при разном кол-ве одновременных сеансов


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено ро , 08-Фев-06 14:45 
>>Не вижу смысла ставить RAID ради производительности, все равно даже гигабитные сетевые
>>интерфейсы не смогут нагрузить интерфейс винта на полную мощность.
>
>н-да, высокопроизводительный ftpd вам не грозит.
>

что же он производит? что в него положили - то и отдаёт.
всё равно всё упрётся в дисковую скорость (если железо более-менее брэндовое и чуть современное).


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено lavr , 08-Фев-06 15:37 
>>>Не вижу смысла ставить RAID ради производительности, все равно даже гигабитные сетевые
>>>интерфейсы не смогут нагрузить интерфейс винта на полную мощность.
>>
>>н-да, высокопроизводительный ftpd вам не грозит.
>>
>
>что же он производит? что в него положили - то и отдаёт.

вот именно, соответственно все упирается в I/O и производительность сетевой
карты в плане pps (packets per second)

>всё равно всё упрётся в дисковую скорость (если железо более-менее брэндовое и
>чуть современное).

именно про это и говорилось в самом начале


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено Миха , 08-Фев-06 16:07 
>Добрый день, уважаемое сообщество! Передо мной стоит задача построить FTP-сервер где-то на
>1 Тб. Юзаю FreeBSD. Для увеличения производительности хочется использовать RAID, но
>нет ни малейшего опыта в конкретно данной задаче. Отсюда несколько вопросов:
>что лучше - софтварный или хардварный RAID; если хардварный - то
>от кого; какой  RAID (0,1,5...),какой собственно софтварный ftp-server. SCSI скорее
>всего не потяну по финансам, остаётся SATA. Заранее благодарен.

Хардли рекоммендед посмотреть что фря лучше всего поддерживает из сата рэйдов, софтвер рэйд даже не думайте, и решите что вам нужно от рэйда, производительность или надёжность, если надёжность то рэйд 5го уровня но это дороже...


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено Миха , 08-Фев-06 16:09 
>>Добрый день, уважаемое сообщество! Передо мной стоит задача построить FTP-сервер где-то на
>>1 Тб. Юзаю FreeBSD. Для увеличения производительности хочется использовать RAID, но
>>нет ни малейшего опыта в конкретно данной задаче. Отсюда несколько вопросов:
>>что лучше - софтварный или хардварный RAID; если хардварный - то
>>от кого; какой  RAID (0,1,5...),какой собственно софтварный ftp-server. SCSI скорее
>>всего не потяну по финансам, остаётся SATA. Заранее благодарен.
>
>Хардли рекоммендед посмотреть что фря лучше всего поддерживает из сата рэйдов, софтвер
>рэйд даже не думайте, и решите что вам нужно от рэйда,
>производительность или надёжность, если надёжность то рэйд 5го уровня но это
>дороже...
я использую родной ftpd в OpenBSD, но можно попробовать vsftpd


"Высокопроизводительный FTP на базе FreeBSD"
Отправлено Lexleo , 08-Фев-06 17:23 

>Хардли рекоммендед посмотреть что фря лучше всего поддерживает из сата рэйдов,
Т.е сначала LINT, потом google :)

>решите что вам нужно от рэйда,
>производительность или надёжность, если надёжность >то рэйд 5го уровня но это
>дороже...
производительность, не сочтите жмотом.



"Высокопроизводительный FTP на базе FreeBSD"
Отправлено ShyLion , 08-Фев-06 20:51 
>
>>Хардли рекоммендед посмотреть что фря лучше всего поддерживает из сата рэйдов,
>Т.е сначала LINT, потом google :)
>
>>решите что вам нужно от рэйда,
>>производительность или надёжность, если надёжность >то рэйд 5го уровня но это
>>дороже...
>производительность, не сочтите жмотом.

RAID5 как раз компромисс между надежностью, производительностью и стоимостью. RAID1 - простое заркало более надежен, но за двойную цену дисков получаете одинарную емкость, выскоую производительность для вашего случая, так как основная операция - чтение. RAID5 дешевле (если считать что контроллер тот-же), так как при n дисках (n >=3) ценою m стоимость n*m, а емкость n-1.

что касается SCSI не SCSI, есть аппаратные рейды, имеющие интерфейс для дисков SATA или PATA, а снаружи SCSI или FC. Например  http://www.axus.com.tw/