форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"FreeBSD & folder с милионами файлов."

Сообщение от CalmNad (ok) on 17-Окт-07, 16:28

Доброго времени суток, Есть FreeBSD 6.2, есть папочка с парой миллионов файлов (в перспективе - сотни миллионов), размер до 10-100К. Файлы - информационное web-проекта. Переодически обрабатываются python-ом, отдаются nginx, реже - апачем. Частота обращений сотни, в перспективе тысячи раз в секунду. Какие траблы может принести подобное количество файлов в одной директории. По скорости работы/обработки/...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "FreeBSD & folder с милионами файлов."

Сообщение от johnjoy (??) on 17-Окт-07, 17:21

Вообще-то плохо это. При каждом чтении будет сканироваться вся директория для поиска файла (кеш на таких объемах малополезен). Насколько знаю, этой проблемы лишена лишь XFS Сложившаяся практика - бить файлы по вложенным директориям, например в соответствии с именем файла. То есть файл foobar.jpg пишется не напрямую в директорию somedir, а в somedir/f/fo/foobar.jpg Посмотрите, например, на организацию кеша squid или defer(red) у постфикса Далее: сотни-тысячи обращений в секунду? Надеюсь, вы запаслись неплохим внешним дисковым массивом?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "FreeBSD & folder с милионами файлов."
	Сообщение от CalmNad (ok) on 17-Окт-07, 17:28
	>Далее: сотни-тысячи обращений в секунду? Надеюсь, вы запаслись неплохим внешним дисковым массивом? Запаслись :). Волнует именно вопрос возможных граблей, бо лучше переделать раньше. Расширяя вопрос: Какие опции сборки ядра/доп настройки лучше произвести в подобной ситуации. Инфо со стороны: при таких размера будут траблы с удалением/копированием.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "FreeBSD & folder с милионами файлов."
	Сообщение от johnjoy (??) on 17-Окт-07, 18:23
	>>Далее: сотни-тысячи обращений в секунду? Надеюсь, вы запаслись неплохим внешним дисковым массивом? > >Запаслись :). Ну дык отлично - значит уже можете тестить =) Мы Вам, конечно насоветуем, но все должны решать тесты. >Волнует именно вопрос возможных граблей, бо лучше переделать раньше. Расширяя вопрос: >Какие опции сборки ядра/доп настройки лучше произвести в подобной ситуации. Что лично я бы попробовал: - поиграться размером блока ffs, дефолтный там 16Kб, если поставите 64-128Кб, то большинство файлов будут читаться/писаться за один проход (правда проиграете в затрачиваемом на хранение месте, что при наличии внешнего хранилища имхо непринципиально) - учитывая, что хранище со своим мудрым кешом, монтировать с sync,noatime, попробовать отрубить softupdates.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "FreeBSD & folder с милионами файлов."
	Сообщение от johnjoy (??) on 17-Окт-07, 18:37
	а, ну и с kern.maxvnodes можно поиграть, авось поможет )
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "FreeBSD & folder с милионами файлов."
	Сообщение от johnjoy (??) on 17-Окт-07, 18:26
	да, присмотритесь к 7ке - там переписан sendfile (nginx им и отдает), говорят сильно (до 5 раз) быстрее
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]