URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 22345
[ Назад ]

Исходное сообщение
"Вот честно такого сюрприза я не ожидал от FreeBSD"

Отправлено Клоун , 28-Окт-02 15:41 
Привет Всем!
Вообщем устал я говорить с нашими пользователями. Просто русского языка не понимают. Достали тем, что в рабочее время ставят на закачку .iso .mp3 .avi.
и забивают канал. Запретить совсем нельзя и задался я целью ограничить полосу пропускания. Все логично, поставил squid, настроил delay-pools. Настроил прозрачный прокси. И получил я в итоге подчти ничего. Закачка в основном идет через протокол ftp. А squid не поддерживает transparensy-proxy для Ftp. Вообщем пришел к тому с чего начинал. Они качают, а я смотрю и ничего сделать не могу.
Меня такое положение дел, конечно не устраивает. В поисках по интернету наткнулся на программу frox. Это прокси Ftp, который может работать и в режиме trancparency. Стал разбиратся -  вообщем как раз программа которую искал. Умеет работать с форвардом, и интегрируется со squid. Каково же было мое разочарование, когда в процессе компиляции я получил: режим trancparency под BSD не подерживается. Вот такие пироги. Одно уныние и потерянное время. Может кто подскажет техническое решение. Или же разобрался, как эту утилиту пркрутить к FReeBSD, хотя думаю что я делал все правильно.
Всем Удачи!
С Уважением Клоун!!!  

Содержание

Сообщения в этом обсуждении
"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено LinaS , 28-Окт-02 15:59 
>Привет Всем!
>Вообщем устал я говорить с нашими пользователями. Просто русского языка не понимают.
>Достали тем, что в рабочее время ставят на закачку .iso .mp3
>.avi.
>и забивают канал. Запретить совсем нельзя и задался я целью ограничить полосу
>пропускания. Все логично, поставил squid, настроил delay-pools. Настроил прозрачный прокси. И
>получил я в итоге подчти ничего. Закачка в основном идет через
>протокол ftp. А squid не поддерживает transparensy-proxy для Ftp. Вообщем пришел
>к тому с чего начинал. Они качают, а я смотрю и
>ничего сделать не могу.
>Меня такое положение дел, конечно не устраивает. В поисках по интернету наткнулся
>на программу frox. Это прокси Ftp, который может работать и в
>режиме trancparency. Стал разбиратся -  вообщем как раз программа которую
>искал. Умеет работать с форвардом, и интегрируется со squid. Каково же
>было мое разочарование, когда в процессе компиляции я получил: режим trancparency
>под BSD не подерживается. Вот такие пироги. Одно уныние и потерянное
>время. Может кто подскажет техническое решение. Или же разобрался, как эту
>утилиту пркрутить к FReeBSD, хотя думаю что я делал все правильно.
>
>Всем Удачи!
>С Уважением Клоун!!!


а почему обязательно через squid ограничивать?
вполне неплохо (у меня) работает traffic shaping в ipfw

вот например:
ipfw pipe 1 config bw 4Kbit/s mask dst-ip
ipfw add XXXX1 pipe 1 tcp from any 20 to any out internal_interface
ipfw add XXXX2 pipe 1 tcp from any 1024-какой_там_самый_верхний_порт to any 1024-какой_там_самый_верхний_порт out internal_interface

этим ты ограничишь закачку на 4К для каждого destination-ИП


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено keepver , 28-Окт-02 16:35 
NAT убери, если используешь. клиент выставил себе прокси - пошел в инет по фтп, нет - отдыхай. очень хорошо в таких случаях также помогают лимиты на суточный трафик, закачал свои надцать магабайт и тебя файеhвол отстрелил. реализуется при помощи ipa
(http://simon.org.ua/ipa/)

"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 16:47 
>NAT убери, если используешь. клиент выставил себе прокси - пошел в инет
>по фтп, нет - отдыхай. очень хорошо в таких случаях также
>помогают лимиты на суточный трафик, закачал свои надцать магабайт и тебя
>файеhвол отстрелил. реализуется при помощи ipa
>(http://simon.org.ua/ipa/)

А насчет лимитов спасибо!!!
Не понял про NAT. Да в данной схеме NAT вообще не используется.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено LinaS , 28-Окт-02 17:30 
>>NAT убери, если используешь. клиент выставил себе прокси - пошел в инет
>>по фтп, нет - отдыхай. очень хорошо в таких случаях также
>>помогают лимиты на суточный трафик, закачал свои надцать магабайт и тебя
>>файеhвол отстрелил. реализуется при помощи ipa
>>(http://simon.org.ua/ipa/)
>
>А насчет лимитов спасибо!!!
>Не понял про NAT. Да в данной схеме NAT вообще не используется.
>

имелось в виду, что если есть нат - убери, чтобы клиенты не смогли напрямую мимо прокси в инет ходить.
а вот что машина виснет при ipfw traffic shaping'е - очень странно... с железом у нее все в порядке? не должно оно виснуть то...


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено LinaS , 28-Окт-02 17:33 
>>>NAT убери, если используешь. клиент выставил себе прокси - пошел в инет
>>>по фтп, нет - отдыхай. очень хорошо в таких случаях также
>>>помогают лимиты на суточный трафик, закачал свои надцать магабайт и тебя
>>>файеhвол отстрелил. реализуется при помощи ipa
>>>(http://simon.org.ua/ipa/)
>>
>>А насчет лимитов спасибо!!!
>>Не понял про NAT. Да в данной схеме NAT вообще не используется.
>>
>
>имелось в виду, что если есть нат - убери, чтобы клиенты не
>смогли напрямую мимо прокси в инет ходить.
>а вот что машина виснет при ipfw traffic shaping'е - очень странно...
>с железом у нее все в порядке? не должно оно виснуть
>то...

кстати, а как это они так качают мимо твоего сквида по ФТП, если нат не поднят??? или у них ИП реальные?
запрети на файрволле 21 порт, тогда им почти ничего не останется, как идти через сквид... а у тебя delay_pools будут работать


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 18:24 
Все просто. НАТ работает, но на внешнем маршрутизаторе и обслуживает всю нашу сеть. Как технические службы, так и скажем userскую сеть.
Техническим службам NAT нужен.
В локальной сети тоже не обойтись без NAT, так как кроме обычных служб, есть и собственной реализации написанные пользователями, вообщем squid бессилен.
Выходит я приперт.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 16:40 
Спасибо.
Да я пробовал. Когда настраивал через IPFW, работало, но время от времени машина вставала. Та как это раюотающая машина и простой даже минутный не допустим, то такие решения не подходят. Пробовал на FreeBSD 4.3 и 4.5 на разных машинах. Результат тот же. Причину так и не выявил. Скорее всего от нагрузки просто "уставала" машинка.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено keepver , 28-Окт-02 17:00 
что значит "вставала" ? netstat -m не пробовал делать в такие моменты ?

"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 17:08 
>что значит "вставала" ? netstat -m не пробовал делать в такие моменты
>?

Просто висла. Приходится перезапускать RESET, так как клавиатуры не слушалась. Это происходила, когда полосу пытался ограничивать по IPFW traffic-shaper.
А насчет NAT мысль не понял??? Можно более подробно озвучить???


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено keepver , 28-Окт-02 17:36 
чего за машинка у тебя ? у меня вон софтварный роутер с кучей интерфейсов, на которых еще большая куча алиасов и все зашейплены. пенек второй, и ничего, сражается достойно :)

про NAT. имелось ввиду, что если убрать трансляцию адресов твоей сети, то единственным выходом у пользователя будет использование
твоего прокси-сервера. он вынужден будет указать его своей клиентской программе, неважно аська это будет, броузер или фтп-клиент... думаю дальше и так понятно
естественно это все имеет место, если ты NAT используешь


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 18:51 
Celeron 700
А пробовал вообщем на 2-х разных машинах с разными версиями Free.

"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено LinaS , 28-Окт-02 19:12 
>Celeron 700
>А пробовал вообщем на 2-х разных машинах с разными версиями Free.

может, чего-то не так делал?
как это выглядело то помнишь? (пайпы)


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 19:26 
>>Celeron 700
>>А пробовал вообщем на 2-х разных машинах с разными версиями Free.
>
>может, чего-то не так делал?
>как это выглядело то помнишь? (пайпы)


Я попробую с эмулировать заново!
И пришлю.
Но принципиально нового врядли выдумаю.
Напиши мне dalifas@mail.ru
Я отвечу на Ваш(твой) адрес.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 28-Окт-02 17:12 
LinaS спасибо. Прочтите дальнейшую переписку.

"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено lavr , 28-Окт-02 17:42 
>LinaS спасибо. Прочтите дальнейшую переписку.

я вот одного не пойму, если это у провайдера - то если клиенты качают, это
выгодно, если это просто организация, то что мешает использовать squidguard
и резать mp3, mpg, avi & etc и написать инструкцию пользователей сети и
сетевой регламент, где отразить все что необходимо, включая НЕПРОИЗВОДТСТВЕННЫЙ трафик, получить у начальства все печати и полномочия,
после чего опубликовать где следует и под роспись ВСЕМ пользователям.
Все - рычаги есть, можно притаптывать кого нужно и когда нужно.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено AdVv , 28-Окт-02 22:27 
> Все - рычаги есть, можно притаптывать кого нужно и когда нужно.
>

Рычаги то есть ... Но вот почему сквида с ftp протоколом не работает ...
Обидно :)


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Hak , 28-Окт-02 23:56 
p-233 c 128Mb великолепно работал и резал трафик как Squid-om так и одновременно с помощью ipfw .... канал 2Мбит  , загрузка проца не более 2-4 проц ... FreeBSD 4.3 - и плавно мигрировала до 4.5
может сетевые Г.... ??? у меня стоит 2х3C905B


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено lavr , 29-Окт-02 09:56 
>p-233 c 128Mb великолепно работал и резал трафик как Squid-om так и
>одновременно с помощью ipfw .... канал 2Мбит  , загрузка проца
>не более 2-4 проц ... FreeBSD 4.3 - и плавно мигрировала
>до 4.5
>может сетевые Г.... ??? у меня стоит 2х3C905B

3Com - однозначное г...о, конкретно подобных карт несколько убрал с
серверов, срут в сеть.



"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено ivi , 29-Окт-02 04:17 
>> Все - рычаги есть, можно притаптывать кого нужно и когда нужно.
>>
>
>Рычаги то есть ... Но вот почему сквида с ftp протоколом не
>работает ...
>Обидно :)

squid не работает с ftp - хи-хи-хи. %)
Если руки не истого места растут, то конечно не будет работать. ;)


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 29-Окт-02 10:04 
>
>squid не работает с ftp - хи-хи-хи. %)
>Если руки не истого места растут, то конечно не будет работать. ;)
>
Привет Всем!
Вот честно иногда я не понимаю людей. Если знаешь -  говори, а вот таких реплик "информативных" не надо пожалуйста. Мне кажется ты не понял условий применения. Речь идет о прозрачном ftp-прокси. А так squid прекрасно работает с ftp если перенастроить клиентов.
Удачи!
С уважением Клоун!


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено lavr , 29-Окт-02 10:11 
>>
>>squid не работает с ftp - хи-хи-хи. %)
>>Если руки не истого места растут, то конечно не будет работать. ;)
>>
>Привет Всем!
>Вот честно иногда я не понимаю людей. Если знаешь -  говори,
>а вот таких реплик "информативных" не надо пожалуйста. Мне кажется ты
>не понял условий применения. Речь идет о прозрачном ftp-прокси. А так
>squid прекрасно работает с ftp если перенастроить клиентов.
>Удачи!
>С уважением Клоун!
>

http://www.ftpproxy.org/ - не пробовал посмотреть?


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 29-Окт-02 10:29 

>
>http://www.ftpproxy.org/ - не пробовал посмотреть?


Спасибо. Но там обычный прокси, который работает на уровне приложения.
Все равно еще раз спасибо.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено lavr , 29-Окт-02 22:34 
>
>>
>>http://www.ftpproxy.org/ - не пробовал посмотреть?
>
>
>Спасибо. Но там обычный прокси, который работает на уровне приложения.
>Все равно еще раз спасибо.

действительно, я тут подумал, вовсе не представляю как реализовать
transparent ftp proxy для ftp-passive, хотя пишут для ipfilter/nat -
есть решения (не кеширующий разумеется)

Тем не менее вот что нарыл:

http://frox.sourceforge.net/doc/FAQ.html - frox ftp via transp-proxy
http://www.mcknight.de/jftpgw/ - transparent ftp proxy
http://www.junkbuster.com/ijbdist.html - junkbaster
и якобы в SuSE proxy-suit есть реализация ftp-proxy (не смотрел, врать не буду)


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 30-Окт-02 16:28 
>>
>>>
>>>http://www.ftpproxy.org/ - не пробовал посмотреть?
>>
>>
>>Спасибо. Но там обычный прокси, который работает на уровне приложения.
>>Все равно еще раз спасибо.
>
>действительно, я тут подумал, вовсе не представляю как реализовать
>transparent ftp proxy для ftp-passive, хотя пишут для ipfilter/nat -
>есть решения (не кеширующий разумеется)
>
>Тем не менее вот что нарыл:
>
>http://frox.sourceforge.net/doc/FAQ.html - frox ftp via transp-proxy
>http://www.mcknight.de/jftpgw/ - transparent ftp proxy
>http://www.junkbuster.com/ijbdist.html - junkbaster
>и якобы в SuSE proxy-suit есть реализация ftp-proxy (не смотрел, врать не
>буду)

Спасибо. Насчет frox говорил, что не получилось, с другими буду разбираться.
Удачи!


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено LinaS , 29-Окт-02 09:40 
>> Все - рычаги есть, можно притаптывать кого нужно и когда нужно.
>>
>
>Рычаги то есть ... Но вот почему сквида с ftp протоколом не
>работает ...
>Обидно :)


это не сквид не работает с ftp, это такая особенность самого протокола...


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Hak , 29-Окт-02 15:08 
>3Com - однозначное г...о, конкретно подобных карт несколько убрал с
>серверов, срут в сеть.

lavr ты не прав .... если вся сеть сделана на 3Сom то проблем нету , + не надо покупать подделки на 3Com , а они есть ...

Сеть более 70 компов , 3COM Switch 3300 ,  3COM Switch 3000 , 3COM Switch 1100 , + мелочные хабы Office Connect .... и всё ок ... уже 6 лет ок

;-))))

Кстати если 3COM г.. то что нормальный ....



"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено lavr , 29-Окт-02 15:35 
>>3Com - однозначное г...о, конкретно подобных карт несколько убрал с
>>серверов, срут в сеть.
>
>lavr ты не прав .... если вся сеть сделана на 3Сom то
>проблем нету , + не надо покупать подделки на 3Com ,
>а они есть ...

если, если, ... ;)

>Сеть более 70 компов , 3COM Switch 3300 ,  3COM Switch
>3000 , 3COM Switch 1100 , + мелочные хабы Office Connect
>.... и всё ок ... уже 6 лет ок

и что?
если сеть >200км и >> 3000wks + servers, откуда денег взять на сортировку
3Com, здесь плохие, здесь хорошие, здесь играем, здесь не играем... :)
Это еще с учетом того что сам по себе 3Com дорогой, а 6-10 лет назад он
был ну очень дорогой.

ps. возможно и не прав, но из массы разных что через руки прошли, все засирали сеть

>;-))))
>
>Кстати если 3COM г.. то что нормальный ....

Intel Pro 10/100 и выше

PS. Всем sorry что не по теме.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено AdVv , 29-Окт-02 21:42 
>Меня такое положение дел, конечно не устраивает. В поисках по интернету наткнулся
>на программу frox. Это прокси Ftp, который может работать и в
>режиме trancparency. Стал разбиратся -  вообщем как раз программа которую
>искал. Умеет работать с форвардом, и интегрируется со squid. Каково же
>было мое разочарование, когда в процессе компиляции я получил: режим trancparency
>под BSD не подерживается. Вот такие пироги. Одно уныние и потерянное
>время. Может кто подскажет техническое решение. Или же разобрался, как эту
>утилиту пркрутить к FReeBSD, хотя думаю что я делал все правильно.

http://frox.sourceforge.net/ :

The latest stable version is 0.7.6.
New additions in this major version are support for transparent proxying under BSD and other ipfilter using OSes, running from
                                                         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
inetd, transparnt virus scanning of downloaded files, per host config file subsections, and the ability to limit connections by IP. There are also extensive internal code changes including a reworking of the local caching, the buffer handling, and the config file parsing code.

Я чегото не понимаю, или врут балбесы ? ;)


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 30-Окт-02 16:06 

>
>The latest stable version is 0.7.6.
>New additions in this major version are support for transparent proxying under
>BSD and other ipfilter using OSes, running from

>inetd, transparnt virus scanning of downloaded files, per host config file subsections,
>and the ability to limit connections by IP. There are also
>extensive internal code changes including a reworking of the local caching,
>the buffer handling, and the config file parsing code.
>
>Я чегото не понимаю, или врут балбесы ? ;)

Привет!
Честно вот этого, что Вы написали не прочитал, но все равно результат был следующий:
Делал я стандартно. Сначала попробовал из pkg, который взял с ftp.freebsd.org (там версия 0.7.4). Он писал, что строка не понятная. Потом скачал 0.7.4 исходники с сайта frox. Сделал configure  с опцией
--enable-transparency-data. В ходе конфигурирования производит различные проверки и там как раз говорит, что transparency proxing of data connections ...no. Сделал make и make install. В не транспаранс режиме работает, а как только я в конф файле указываю строку TransparentData yes
при запуске ругается, говорит что
Unrecognised option "TransparentData" at line 125 of /usr/local/..frox.conf
Вот поэтому не знаю, что они пишут. Делал все на FreeBSD 4.3 и на 4.6.2.
Все тоже самое происходит и на 0.7.6, который скачал с сайта разработчиков.
Вот мой отчет. Так что если они говорят - что я не правильно делал.
Всем Удачи!
С Уважением Клоун!


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено AdVv , 31-Окт-02 01:35 
>>Я чегото не понимаю, или врут балбесы ? ;)
>
>Привет!
>Честно вот этого, что Вы написали не прочитал, но все равно результат
>был следующий:
>Делал я стандартно. Сначала попробовал из pkg, который взял с ftp.freebsd.org (там
>версия 0.7.4). Он писал, что строка не понятная. Потом скачал 0.7.4
>исходники с сайта frox. Сделал configure  с опцией
>--enable-transparency-data. В ходе конфигурирования производит различные проверки и там как раз говорит,
>что transparency proxing of data connections ...no. Сделал make и make
>install. В не транспаранс режиме работает, а как только я в
>конф файле указываю строку TransparentData yes
>при запуске ругается, говорит что
>Unrecognised option "TransparentData" at line 125 of /usr/local/..frox.conf
>Вот поэтому не знаю, что они пишут. Делал все на FreeBSD 4.3
>и на 4.6.2.
>Все тоже самое происходит и на 0.7.6, который скачал с сайта разработчиков.
>
>Вот мой отчет. Так что если они говорят - что я не
>правильно делал.
>Всем Удачи!
>С Уважением Клоун!

http://frox.sourceforge.net/doc

Frox was originally written for linux, but thanks to some work by Sergey Matveychuk it should now run on BSD and possibly some other UNIX like OSes. The configure script should do things automatically for bsd systems, but their are still one or two things you should be aware of.

The BSD transparent proxying code can use ipfilter or ipfw. ipfw is the default, but you can use the ipfilter code by compiling with --enable-ipfilter. Other OSes which run ipfilter may also work in this way. If you try it could you drop me an email and let me know the result.

Это все просто со странички проекта. Сам я не ставил, иначе бы рассказал, но насколько я понимаю вся необходимая дакументация присутствует.  Поддержку для *BSD написал Sergey Matveychuk, и где-то я встречал адрес его электронной почты. Так что подрудитесь сначала почитать документацию.


"RE: Вот честно такого сюрприза я не ожидал от FreeBSD"
Отправлено Клоун , 04-Ноя-02 16:17 

>email and let me know the result.
>
>Это все просто со странички проекта. Сам я не ставил, иначе бы
>рассказал, но насколько я понимаю вся необходимая дакументация присутствует.  Поддержку
>для *BSD написал Sergey Matveychuk, и где-то я встречал адрес его
>электронной почты. Так что подрудитесь сначала почитать документацию.


Привет Всем!
В том-то и дело что читал, и делал как написано в README-transparent, который есть в исходниках.
Ну и скажите, что тут говорить когда выдается такое при компилляции:

Making all in lib
Making all in sstrlib
ln -fs ../lib/sstrlib/sstr.h ../../include
ln -fs sstrlib/libsstr.a libiptc/libiptc.a .
Making all in src
gcc -DHAVE_CONFIG_H -I. -I. -I../include     -O2 -c bsd.c
bsd.c:30: #error --enable-transparent-data not supported under BSD
*** Error code 1

Stop in /INSTALL/frox-0.7.6/src.
*** Error code 1

Stop in /INSTALL/frox-0.7.6.

А за адрес Матвейчука буду признателен.
Удачи!


"frox и log squid"
Отправлено dalex , 28-Янв-03 15:07 
прошу прощения что вклинился в тему но есть вопрос
frox работает но в логах squid есть только инфа о скачанных файлах с ftp (и нет ftp сессий) и второе - в логе squid в строке со скачанным файлом стоит адрес не юзера а сервера где стоит squid (поэтому статистика снятая sarg будет неправильной)
Вот таких две проблемки :-)