URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 96327
[ Назад ]

Исходное сообщение
"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"

Отправлено Антоха , 14-Окт-15 17:29 
Привет. Исходящий и входящий каналы по 2Мбита. Провайдер всегда предоставляет заявленную скорость. У меня интерфейс локальной сети re0, IPFW:

#PIPES DUMMYNET
${fwcmd} pipe 1 config bw 2Mbit/s
${fwcmd} pipe 11 config bw 2Mbit/s
${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0

Очереди работают как надо.
Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка etc) берется из кэша сквида, скорость получения из сквида ограничивается 2 мбитами..
Что подскажете, посоветуете?
Спасибо.


Содержание

Сообщения в этом обсуждении
"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Hammer , 15-Окт-15 10:03 
>[оверквотинг удален]
> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
> Очереди работают как надо.
> Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка
> etc) берется из кэша сквида, скорость получения из сквида ограничивается 2
> мбитами..
> Что подскажете, посоветуете?
> Спасибо.

Ну, как вариант, пайпить средствами сквида.

Если Вы жестко шейпируете интерфейс, вариантов нет.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 15-Окт-15 10:16 
>[оверквотинг удален]
>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
>> Очереди работают как надо.
>> Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка
>> etc) берется из кэша сквида, скорость получения из сквида ограничивается 2
>> мбитами..
>> Что подскажете, посоветуете?
>> Спасибо.
> Ну, как вариант, пайпить средствами сквида.
> Если Вы жестко шейпируете интерфейс, вариантов нет.

К сожалению, нет возможности все протоколы направить на проксю. Тот же тимвьювер, собака, не хочет ни черзе 80 ни через 443 ходить. И прочее-прочее. Некоторые программы и сервисы в сети приходится пускать на ipfw nat, без прокси.. Поэтому разделение канала нужно средствами ipfw.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Pahanivo , 15-Окт-15 21:02 
> Что подскажете, посоветуете?

прочитать таки ман по ipfw
что мешает сделать нужному трафику skipto минуя вашу трубу?
пайпится то что пайпится - обратное верно


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 16-Окт-15 07:17 
> #PIPES DUMMYNET
> ${fwcmd} pipe 1 config bw 2Mbit/s
> ${fwcmd} pipe 11 config bw 2Mbit/s
> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0

в начале правил просто пропускаем интересный наш трафик по другому правилу, где нет никаких ограничений, примерно вот так:

${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv re0

${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 16-Окт-15 09:00 
>[оверквотинг удален]
>> ${fwcmd} pipe 11 config bw 2Mbit/s
>> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
>> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
> нет никаких ограничений, примерно вот так:
> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
> re0
> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0

Большое спасибо, обязательно проверю.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 16-Окт-15 12:31 
>[оверквотинг удален]
>>> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
>>> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
>>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
>> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
>> нет никаких ограничений, примерно вот так:
>> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
>> re0
>> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0
> Большое спасибо, обязательно проверю.

Не сработало..:(


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 16-Окт-15 13:33 
> Не сработало..:(

как проверяли?

#ipfw -a list



"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Pahanivo , 17-Окт-15 20:56 
> как проверяли?

как оно вообще могло не сработать ))



"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 19-Окт-15 11:17 
>> как проверяли?
> как оно вообще могло не сработать ))

Очереди работают.. Но так же, из кэша выстаскивается с ограничением этой самой очереди.. В общем - если получится всё пустить через проксю, буду delay pools пилить на сквиде..


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Pahanivo , 19-Окт-15 23:46 
>>> как проверяли?
>> как оно вообще могло не сработать ))
> Очереди работают.. Но так же, из кэша выстаскивается с ограничением этой самой
> очереди.. В общем - если получится всё пустить через проксю, буду
> delay pools пилить на сквиде..

Мда, чукча такие пЕсатель ... хорошей пЕсатель ipfw -a list хотя бы показал ...


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 20-Окт-15 06:52 
> Мда, чукча такие пЕсатель ... хорошей пЕсатель ipfw -a list хотя бы
> показал ...

это как: мелькнуло в глазах новая идея, пошел мужик на поле по новой вспахивать :)



"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено adsh , 20-Окт-15 02:05 
> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
> нет никаких ограничений, примерно вот так:
> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
> re0
> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0

А как система поймёт, из кеша оно или из интернета?

:)


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 20-Окт-15 06:50 
> А как система поймёт, из кеша оно или из интернета?

вопрос стоял в том чтобы на squid сервер без никаких ограничений шло(чтобы под трубу не попадал :))

если нет ограничения на squid сервер, то там уже дело squid'а и смотреть нужно в нем: с кеша он берет или с инета дергает


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено adsh , 20-Окт-15 02:00 
> Что подскажете, посоветуете?

А - никак. Система не понимает - из кеша оно идёт или нет.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 20-Окт-15 09:30 
>> Что подскажете, посоветуете?
> А - никак. Система не понимает - из кеша оно идёт или
> нет.

Вот и я о том же.. Пытаюсь теперь все соединения через прокси пустить... чтобы раскидывать траффик.

Средствами Сквида раскидать нагрузку канала возможно лишь при условии, что ВСЕ соединения ВСЕХ клиентов локальной сети идут через проксю.. в этом то и сложность, некоторые штуки ни в какую не пашут через сквид, приходится пускать сразу в нат.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено adsh , 20-Окт-15 18:19 
> Вот и я о том же.. Пытаюсь теперь все соединения через прокси
> пустить... чтобы раскидывать траффик.

На самом деле в шейпировании отданного из кеша есть и плюс - дольше проживёт винт.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 21-Окт-15 08:48 
>> Вот и я о том же.. Пытаюсь теперь все соединения через прокси
>> пустить... чтобы раскидывать траффик.
> На самом деле в шейпировании отданного из кеша есть и плюс -
> дольше проживёт винт.

Да.. учитывая, что винт ssd... может и актуально. Но так то 4 гига рамы, из них сквиду 2,5 отдано. А по факту более гига сквид еще не разу не отжирал.


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 21-Окт-15 09:43 
> Да.. учитывая, что винт ssd... может и актуально. Но так то 4
> гига рамы, из них сквиду 2,5 отдано. А по факту более
> гига сквид еще не разу не отжирал.

Антоха так ты #ipfw -a list дашь или нет? :) (стеб)

а то все яблоки да яблоки :D


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 21-Окт-15 09:42 
> На самом деле в шейпировании отданного из кеша есть и плюс -
> дольше проживёт винт.

если так жалеть винт, то лучше вообще не включать компьютер :)



"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 22-Окт-15 08:37 
>> На самом деле в шейпировании отданного из кеша есть и плюс -
>> дольше проживёт винт.
> если так жалеть винт, то лучше вообще не включать компьютер :)

Пока не дам... запустил pkg2ng в попытке поставить сквид 3.5.8 - все нахер. Систему переустанавливаю:))) Вот гон. Бэкапы pkg нашел, но они не дают результата. pkg2ng - смертельная команда. Пакеты больше не ставятся.. какие-то ошибки блин. В хэндбуке так и сказано - шаг необратим.. Ну или руки у меня изветсно откуда.
Как переустановлю-настрою - дам ipfw show:)
По поводу шейпинга - есть мысля попробовать на внешнем интерфейсе, у меня он tun0 pppoe. Кароче по дню проверим:)


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 22-Окт-15 16:15 
:) рассмешил своим рассказом. давай удачи, повторение мать учения!


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Антоха , 22-Окт-15 16:57 
> :) рассмешил своим рассказом. давай удачи, повторение мать учения!

Таак.. версия 4.0.1 в релизах! Буду ее сначала пытать. И вот блин не пашет (как и 3.5.8):

pkg add http://www.squid-cache.org/Versions/v4/squid-4.0.1-20151016-...
NO MANIFEST FOUND

Наверное, гуглить разучился.
А ipfw не покажу пока что. Он у меня еще дырявенький, хоть и закрытый по дефолту, но чото стыдно мне его показывать:))))
А вообще уже в третий раз фряху переустанавливаю. Я новичок, но получается, мне нра:)


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено eRIC , 26-Окт-15 10:18 
> pkg add http://www.squid-cache.org/Versions/v4/squid-4.0.1-20151016-...
> NO MANIFEST FOUND

мдась....

>Наверное, гуглить разучился.

я думаю что не только это :)



"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено Pahanivo , 27-Окт-15 17:32 
>>Наверное, гуглить разучился.
> я думаю что не только это :)

четавот мне кажется пацан под словом гуглить что-то другое подразумевает :)


"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Отправлено adsh , 13-Ноя-15 03:11 
>> На самом деле в шейпировании отданного из кеша есть и плюс -
>> дольше проживёт винт.
> если так жалеть винт, то лучше вообще не включать компьютер :)

Почему - трафик экономится, винт дольше живёт, а скорость - тарифная. Все довольны ;-).