форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Архивированная нить - только для чтения!  Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"FreeBSD FTP скачка файлов больше 100Mb"
Сообщение от Knight on 05-Июн-02, 17:20  (MSK)
Hi, All! Есть проблема, встречалась неоднократно, может, кто знает пути решения: FreeBSD FTP при скачке файлов больше 100Mb - последние мегабайт-два сервер отдает очень неохотно, с таймаутами и cps < 1000 b/s. И это из соседнего сегмента сети, до которого мегабитный канал. (на меньших файлах и до того, как остается 1-2Мб - трансфер 100Kbytes/s) Системы, на которых обнаружена проблемка: FreeBSD 3.3-STABLE, 4.4, 4.5-REL_ENG, 4.5 - текущий cvs. FTP-демоны: стандартные из дистрибутива и WuFTPd 2.6.2 trafshow показывает отрывочные прокачки по 5-10K с cps ~3000Bytes/sec, после чего опять висняк секунд на 20-40... Поскольку все происходит внутри одной сети, то, разумеется, ничего нигде не дивертится и через проксики не заворачивается... На интранет внутри сети файрволлом ограничений нет. Насчет того, что грабли не только у меня: Собственно, таская фильмы по ftp по России, обнаруживал аналогичные грабли на некоторых public ftp-серверах, к сожалению, точно не помню, где именно. Help wanted ;) Ибо приходится грузить винду и из под нее ReGet'ом десяток сессий открывать и докачивать... Грустно это.. ;(
	Рекомендовать в FAQ | Cообщить модератору | Наверх

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "RE: FreeBSD FTP скачка файлов больше 100Mb"
Сообщение от lavr on 05-Июн-02, 17:49  (MSK)
>Hi, All! > >Есть проблема, встречалась неоднократно, может, кто знает пути решения: > >FreeBSD FTP при скачке файлов больше 100Mb - последние мегабайт-два >сервер отдает очень неохотно, с таймаутами и cps < 1000 b/s. >И это из соседнего сегмента сети, до которого мегабитный канал. >(на меньших файлах и до того, как остается 1-2Мб - трансфер 100Kbytes/s) > > > >Системы, на которых обнаружена проблемка: > >FreeBSD 3.3-STABLE, 4.4, 4.5-REL_ENG, 4.5 - текущий cvs. >FTP-демоны: стандартные из дистрибутива и WuFTPd 2.6.2 ничего подобного не замечал, особенно с родным ftpd, в wuftpd можно зажимать скорость >trafshow показывает отрывочные прокачки по 5-10K с cps ~3000Bytes/sec, после чего опять >висняк секунд на 20-40... > >Поскольку все происходит внутри одной сети, то, разумеется, ничего нигде не дивертится >и через проксики не заворачивается... >На интранет внутри сети файрволлом ограничений нет. > >Насчет того, что грабли не только у меня: >Собственно, таская фильмы по ftp по России, обнаруживал аналогичные >грабли на некоторых public ftp-серверах, к сожалению, точно не помню, >где именно. если кто-то принудительно понижает скорость или при загрузке канала tcp сам ее понижает - сие ну никак не означает наличие проблем FreeBSD читай Комера TCP/IP - нет этой проблемы >Help wanted ;) Ибо приходится грузить винду и из под нее >ReGet'ом десяток сессий открывать и докачивать... Грустно это.. ;( а за десяток сессий вообще надо сразу руки отрывать
	Рекомендовать в FAQ | Cообщить модератору | Наверх

	2. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 05-Июн-02, 17:59  (MSK)
	>>Hi, All! >> >>FreeBSD FTP при скачке файлов больше 100Mb - последние мегабайт-два >>сервер отдает очень неохотно, с таймаутами и cps < 1000 b/s. >>И это из соседнего сегмента сети, до которого мегабитный канал. >>(на меньших файлах и до того, как остается 1-2Мб - трансфер 100Kbytes/s) >> >>Системы, на которых обнаружена проблемка: >> >>FreeBSD 3.3-STABLE, 4.4, 4.5-REL_ENG, 4.5 - текущий cvs. >>FTP-демоны: стандартные из дистрибутива и WuFTPd 2.6.2 > >ничего подобного не замечал, особенно с родным ftpd, в wuftpd можно >зажимать скорость Нигде ничего не зажимается, причем кусок файла, на котором выплывают грабли, приблизительно пропорционален размеру самого файла... > >>trafshow показывает отрывочные прокачки по 5-10K с cps ~3000Bytes/sec, после чего опять >>висняк секунд на 20-40... >> >>Поскольку все происходит внутри одной сети, то, разумеется, >>ничего нигде не дивертится >>и через проксики не заворачивается... >>На интранет внутри сети файрволлом ограничений нет. >> > >если кто-то принудительно понижает скорость или при загрузке канала Вроде, выше я написал, что никаких тормозилок нигде нет на пути от ftpd до ftp-клиента, да и наличие другого входящего трафика на наличие проблемы не влияет - проверял даже в условиях, когда окромя вышеописанной ftp-сессии никакого трафика вообще не было (не считая RIP/OSPF ;) От клиента тоже не зависит - пробовал NCFtp, Far, wget, ReGet... >tcp сам ее понижает - сие ну никак не означает наличие проблем >FreeBSD Никто и не говорит про грабли FreeBSD - однако, факт налицо... И где копать - уже не знаю. > >а за десяток сессий вообще надо сразу руки отрывать Ну, я бы не стал столь категорично говорить - ибо _мой_ сервак, как хочу, так и употребляю... ;)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	3. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 05-Июн-02, 18:16  (MSK)
	>>>Hi, All! >>> >>>FreeBSD FTP при скачке файлов больше 100Mb - последние мегабайт-два >>>сервер отдает очень неохотно, с таймаутами и cps < 1000 b/s. >>>И это из соседнего сегмента сети, до которого мегабитный канал. >>>(на меньших файлах и до того, как остается 1-2Мб - трансфер 100Kbytes/s) >>> >>>Системы, на которых обнаружена проблемка: >>> >>>FreeBSD 3.3-STABLE, 4.4, 4.5-REL_ENG, 4.5 - текущий cvs. >>>FTP-демоны: стандартные из дистрибутива и WuFTPd 2.6.2 >> >>ничего подобного не замечал, особенно с родным ftpd, в wuftpd можно >>зажимать скорость > >Нигде ничего не зажимается, причем кусок файла, на котором >выплывают грабли, приблизительно пропорционален размеру самого файла... > >> >>>trafshow показывает отрывочные прокачки по 5-10K с cps ~3000Bytes/sec, после чего опять >>>висняк секунд на 20-40... >>> >>>Поскольку все происходит внутри одной сети, то, разумеется, >>>ничего нигде не дивертится >>>и через проксики не заворачивается... >>>На интранет внутри сети файрволлом ограничений нет. >>> >> >>если кто-то принудительно понижает скорость или при загрузке канала > >Вроде, выше я написал, что никаких тормозилок нигде нет на >пути от ftpd до ftp-клиента, да и наличие другого входящего трафика >на наличие проблемы не влияет - проверял даже в условиях, когда окромя > >вышеописанной ftp-сессии никакого трафика вообще не было >(не считая RIP/OSPF ;) > >От клиента тоже не зависит - пробовал NCFtp, Far, wget, ReGet... > >>tcp сам ее понижает - сие ну никак не означает наличие проблем >>FreeBSD > >Никто и не говорит про грабли FreeBSD - однако, факт налицо... >И где копать - уже не знаю. > >> >>а за десяток сессий вообще надо сразу руки отрывать > >Ну, я бы не стал столь категорично говорить - >ибо _мой_ сервак, как хочу, так и употребляю... ;) ответ был дан, если он непонятен - читай трехтомник Комера TCP/IP или двухтомник Ричарда Стивенса
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	4. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 05-Июн-02, 18:23  (MSK)
	>>И где копать - уже не знаю. >> > >ответ был дан, если он непонятен - читай трехтомник Комера TCP/IP >или двухтомник Ричарда Стивенса Хм.. И в каком месте там ответ?.. Может, у меня с русским языком уже проблемы? (собственно, Комер на полке уже года три стоит)..
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	5. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 05-Июн-02, 18:46  (MSK)
	>>>И где копать - уже не знаю. >>> >> >>ответ был дан, если он непонятен - читай трехтомник Комера TCP/IP >>или двухтомник Ричарда Стивенса > >Хм.. И в каком месте там ответ?.. >Может, у меня с русским языком уже проблемы? >(собственно, Комер на полке уже года три стоит).. про проблемы не знаю, а TCP перечитай.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	6. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 05-Июн-02, 18:48  (MSK)
	> >про проблемы не знаю, а TCP перечитай. В общем и целом, либо по существу сказать нечего, либо ты проблему не понял. Дальнейший флейм считаю бессмысленным...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	7. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 05-Июн-02, 21:30  (MSK)
	>> >>про проблемы не знаю, а TCP перечитай. > >В общем и целом, либо по существу сказать нечего, >либо ты проблему не понял. > >Дальнейший флейм считаю бессмысленным... а не было флейма, если не понял ответ: при увеличении нагрузки на канал, физическое полотно, будет ли понижаться скорость TCP коннекта? другой вопрос - почему падает скорость (да хоть в локальной сети) при увеличении загрузки сети, те почему бы ей тогда не быть все время постоянной в локалке, есть трафик, нету ли - один хрен 10Mbit к примеру на тонком ethernet и не важно какая загрузка. Размер 100MB "возможно" критический по трафику, после чего провайдер или его провайдер изменяют гарантированную полосу пропускания, shaping... PS. Везде подразумевается ПРЯМОЙ коннект без всяких проксей, соксов, редиректов, иначе бы не было смысла. Sorry если не донес, потому и написал про книжки. PPS. Простой пример, точно по теории, чтобы не отвалилось tcp соединение при понижении скорости: в параллель со скачиванием, запусти что-либо: скрипт с telnet'ом на удаленную тачку по 21 порту чтобы он периодически открывал и закрывал соединение или netcat вместо telnet, уверен что рубеж 100MB будет преодолен. :)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	8. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Cir on 06-Июн-02, 04:12  (MSK)
	Позволю высказать свое скромное мнение. Сталкивался я с такими грабельками, и пришел к выводу, что сия проблема - в кривой реализации TCP/IP мелкомягкими. Дело в том, что у меня в одном сегменте находяться Win98 2k XP и *nix рабочие станции, FTP на FreeBSD-4.5-релиз . При одновременном скачивании с FTP всеми машинами (делали такой тест) WkS на вынях испытывали рассматриваемую проблему ;), в т о время как FreeBSD и Linux станции работали как часики и перекачку того-же объема выполнили ГОРАЗДО быстрее (CVSup месяц назад ситуацию не изменил). Оговорюсь, что не являюсь ярым противником выней - всему свое место, но вот подобные ВЕСЧИ зело раздражают.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	10. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 07-Июн-02, 11:09  (MSK)
	>Позволю высказать свое скромное мнение. > Сталкивался я с такими грабельками, и пришел к выводу, что сия проблема > - в кривой реализации TCP/IP мелкомягкими. > в то время как FreeBSD и Linux станции работали как > часики и перекачку того-же объема выполнили ГОРАЗДО быстрее (CVSup > месяц назад ситуацию не изменил). Оговорюсь, что не являюсь ярым > противником выней - всему свое место, но вот подобные ВЕСЧИ зело > раздражают. Спасибо за мнение, но вопрос в том, что в данном случае проблема наблюдается вне зависимости от операционки на клиентской стороне. ;) То есть, грабли выплывают и на BSD, и на любой Виндозе.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	9. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 07-Июн-02, 11:04  (MSK)
	> > при увеличении нагрузки на канал, физическое полотно, будет ли > понижаться > скорость TCP коннекта? > другой вопрос - почему падает скорость (да хоть в локальной сети) при > > увеличении загрузки сети, те почему бы ей тогда не быть все время > постоянной в локалке, есть трафик, нету ли - один хрен 10Mbit > к примеру > на тонком ethernet и не важно какая загрузка. > Размер 100MB "возможно" критический по трафику, после чего провайдер > или его > провайдер изменяют гарантированную полосу пропускания, shaping... Говорю еще раз... ;( traffic shaping там напрочь отстутствует - я сам провайдер, и сетка полностью мной контролируется. Черт, неужели я действительно настолько не дружу с русским языком.. ;( Нет там _рубежа_ в 100Мб. Размер "хвоста", который начинает тормозить, непостоянен - примерно 1% от общего размера файла... Т.е., на 600Мб - 595 влетает ок, потом начинает тормозить... На 300Мб - 297 влетает ок... > >Sorry если не донес, потому и написал про книжки. > >PPS. Простой пример, точно по теории, чтобы не отвалилось tcp соединение >при понижении скорости: в параллель со скачиванием, запусти что-либо: >скрипт с telnet'ом на удаленную тачку по 21 порту чтобы он периодически >открывал и закрывал соединение или netcat вместо telnet, уверен что >рубеж 100MB будет преодолен. :) А вот и нет!!! ;) Сорри, забыл упомянуть: ежели разорвать коннект, подождать, пока все слушаемые сокеты подохнут, и попытаться _докачать_ - результат тот же. Хотя, по логике вещей, абсолютно независимая коннекция.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	11. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Valdemar on 07-Июн-02, 11:22  (MSK)
	Проверь все-таки настройки сервака. ТСР тут ни при чем... Это сервер не отдает. Я как-то сталкивался с этим год назад, правда как решил - не помню, извини...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	12. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 07-Июн-02, 13:52  (MSK)
	>> >> при увеличении нагрузки на канал, физическое полотно, будет ли >> понижаться >> скорость TCP коннекта? >> другой вопрос - почему падает скорость (да хоть в локальной сети) при >> >> увеличении загрузки сети, те почему бы ей тогда не быть все время >> постоянной в локалке, есть трафик, нету ли - один хрен 10Mbit >> к примеру >> на тонком ethernet и не важно какая загрузка. >> Размер 100MB "возможно" критический по трафику, после чего провайдер >> или его >> провайдер изменяют гарантированную полосу пропускания, shaping... > >Говорю еще раз... ;( >traffic shaping там напрочь отстутствует - я сам провайдер, >и сетка полностью мной контролируется. > >Черт, неужели я действительно настолько не дружу с русским языком.. ;( >Нет там _рубежа_ в 100Мб. Размер "хвоста", который начинает тормозить, >непостоянен - примерно 1% от общего размера файла... >Т.е., на 600Мб - 595 влетает ок, потом начинает тормозить... >На 300Мб - 297 влетает ок... вот тебе ПЕРВОЕ противоречие. с тебя скачивают без проблем? >> >>Sorry если не донес, потому и написал про книжки. >> >>PPS. Простой пример, точно по теории, чтобы не отвалилось tcp соединение >>при понижении скорости: в параллель со скачиванием, запусти что-либо: >>скрипт с telnet'ом на удаленную тачку по 21 порту чтобы он периодически >>открывал и закрывал соединение или netcat вместо telnet, уверен что >>рубеж 100MB будет преодолен. :) > >А вот и нет!!! ;) Сорри, забыл упомянуть: ежели разорвать коннект, >подождать, пока все слушаемые сокеты подохнут, и попытаться _докачать_ - результат тот >же. Хотя, по логике вещей, абсолютно независимая коннекция. тот же в смысле чего, не дает докачать? что-то подсказывает что дело в тебе... firewall? да что ты ей богу, попроси друзей из ISP что недалеко от тебя дать доступ к их проксе или заделать редирект и посмотри результат. если у тебя traceroute unix1.jinr.ru имеет небольшое количество hop'ов можем могу у себя пустить редирект для пробы. Все же проверяется, другое дело что отсекать лучше прямо по маршруту, чтобы понять ГДЕ, в каком месте, или из-за чего - те получить какую-нить зацепку. Или если traceroute spleen.demos.su короче, могу договориться с друзьями в Demos'е
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	13. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Knight on 07-Июн-02, 16:07  (MSK)
	>>Черт, неужели я действительно настолько не дружу с русским языком.. ;( >>Нет там _рубежа_ в 100Мб. Размер "хвоста", который начинает тормозить, >>непостоянен - примерно 1% от общего размера файла... >>Т.е., на 600Мб - 595 влетает ок, потом начинает тормозить... >>На 300Мб - 297 влетает ок... > >вот тебе ПЕРВОЕ противоречие. Противоречие-то в чем? ;) > >с тебя скачивают без проблем? > Хм... А наружу я не отдаю такие файлы ;) >тот же в смысле чего, не дает докачать? >что-то подсказывает что дело в тебе... firewall? В очередной раз повторяю, что нет там ни одного рула на мой интранет-сегмент в firewall'е... > >да что ты ей богу, попроси друзей из ISP что недалеко от >тебя дать >доступ к их проксе или заделать редирект и посмотри результат. > От маршрута не зависит... Результат везде одинаковый...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	14. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от V on 07-Июн-02, 16:47  (MSK)
	А карточки случаем не RTL ? Тем же мучился , пока не выбросил RTL ............ Даже простое копирование файлов более 10 MB по TCP/IP на Win сервер обрывалось как правило в конце и зависало до нескольких минут.. (для FTP было тоже самое) Чего только не перепробывал (размер TCP/IP окна ,MTU) -потом поменял карточки на KTI - и забыл о проблемах..... BOT
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	16. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Евгений on 10-Июн-02, 17:05  (MSK)
	>А карточки случаем не RTL ? >Тем же мучился , пока не выбросил RTL ............ > >Даже простое копирование файлов более 10 MB по TCP/IP >на Win сервер обрывалось как правило в конце и зависало до нескольких >минут.. (для FTP было тоже самое) >Чего только не перепробывал (размер TCP/IP окна ,MTU) -потом поменял карточки на >KTI - и забыл о проблемах..... > >BOT Они (реалтеки) просто с хабом с трудом договариваются - negotiation, так сказать. У DEC такие же проблемы ставишь их руками в полудуплекс (причем и в винде) и все бегает - пыль столбом
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	15. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 07-Июн-02, 17:06  (MSK)
	>>>Черт, неужели я действительно настолько не дружу с русским языком.. ;( >>>Нет там _рубежа_ в 100Мб. Размер "хвоста", который начинает тормозить, >>>непостоянен - примерно 1% от общего размера файла... >>>Т.е., на 600Мб - 595 влетает ок, потом начинает тормозить... >>>На 300Мб - 297 влетает ок... >> >>вот тебе ПЕРВОЕ противоречие. > >Противоречие-то в чем? ;) > >> >>с тебя скачивают без проблем? >> > >Хм... А наружу я не отдаю такие файлы ;) таким макаром большого архива не накопишь, да и проблему не отсечешь >>тот же в смысле чего, не дает докачать? >>что-то подсказывает что дело в тебе... firewall? > >В очередной раз повторяю, что нет там ни одного рула на мой >интранет-сегмент в firewall'е... > да что так переживать? у тебя нет, тот кто тебе трафик продает может иметь >>да что ты ей богу, попроси друзей из ISP что недалеко от >>тебя дать >>доступ к их проксе или заделать редирект и посмотри результат. >> > >От маршрута не зависит... Результат везде одинаковый... видимо на разных языках мы говорим... :( sorry, в таком случае ищи проблему чисто теоретически.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	17. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от Добрый Ананимус on 13-Июн-02, 13:30  (MSK)
	Навскидку - попытайся поиграться с TCP extensions, syncookies. и посмотри уже tcpdump'ом, что у тебя _конкретно_ происходит в этот самый "тормозящий" промежуток ;)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	18. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от advv on 15-Июн-02, 22:13  (MSK)
	>Навскидку - попытайся поиграться с TCP extensions, syncookies. > >и посмотри уже tcpdump'ом, что у тебя _конкретно_ происходит в этот самый >"тормозящий" промежуток ;) Странно, что это никому не приходит в голову, но вам не кажется что это может быть проблема не сети, а файловой системы ?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	19. "RE: FreeBSD FTP скачка файлов больше 100Mb"
	Сообщение от lavr on 15-Июн-02, 22:19  (MSK)
	>>Навскидку - попытайся поиграться с TCP extensions, syncookies. >> >>и посмотри уже tcpdump'ом, что у тебя _конкретно_ происходит в этот самый >>"тормозящий" промежуток ;) > >Странно, что это никому не приходит в голову, но вам не кажется >что это может быть проблема не сети, а файловой системы ? > с каких дров, если тормоза только на оконцовке, он же писал: 100MB, 300MB, 500MB - не важно сколько, на последних сколько-то там немного. Иначе бы закономерность была. Лично я такого с UFS ни в одном Unix'е не сталкивался. К тому же писано было что с любой телеги сие происходит. Значит проблема с FS отпадает.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.