форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение		[Проследить за развитием треда]

"Тематический каталог: Квотирование трафика на SQUID с поддер..."

Сообщение от auto_topic on 06-Дек-07, 15:27

Обсуждение статьи тематического каталога: Квотирование трафика на SQUID с поддержкой русскоязычных имен пользователей (squid rus proxy acl auth freebsd) Ссылка на текст статьи: http://www.opennet.me/base/net/squid_rus_quote.txt.html

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по ответам | RSS]

	1. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от PbI6a on 06-Дек-07, 15:27
	Как я понял по написаному для учёта по именам пользователей, а не по IP, клиенты должны использовать прокси не прозрачно?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	2. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от Dmitry (??) on 06-Дек-07, 16:58
	При прозрачном проксировании авторизаия пользователей неработает
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	3. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от dm80 (ok) on 06-Дек-07, 17:54
	Само собой. При прозрачном проксировании аутентификация пользователей не проходит.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	4. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от sdm (??) on 06-Дек-07, 18:17
	> назначение скрипта: > 1)    запись лог-данных SQUID в БД MySQL ("на >лету", посредством pipe); имхо, из-за использования FIFO, это творение не стоит юзать при более-менее серьезной нагрузке, скорее всего возможны потери.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	5. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от Аноним on 06-Дек-07, 23:23
	очередной велосипед? Сколько этих скриптов для подсчёта трафика в squid? И с MySQL и с Postgres и с AD и чем только нету... Хоть бы кто озаботился провести сравнительный анализ и рассказать, почему у него лучше...
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	6. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от Дмитрий (??) on 07-Дек-07, 01:46
	По поводу потерь при нагруженной системы, можно было бы привести к примеру цифры. В моем случае - ~50 одновременных подключений (регулируется параметром redirect_children). К сожалению нет возможности протестировать в более серьёзных условиях. (Если кто сможет - жду с нетерпением комментариев :) ) Насчет "велосипеда" не могу не согласиться. Но думаю это больше касается подсчета трафика. В действительности - это задача для школьника, написать подобный скрипт, первоначальное назначение моего - квотирование. Тут не все так гладко. Лично я не встретил ни одного удовлетворительного решения на этот счет, в связи с чем и решил написать собственное. Насчет сравнительного анализа могу привести лишь то что сам использовал - LightSquid. Первый недостаток, бросающийся в глаза - хранение данных в текстовом формате (Имя пользователя - отдельный файл). Второй - запуск импорта данных по крону, что тоже не очень удобно. Третий - возможность квотирования практически отсутствует (исходя из второго :) ) Squid2Mysql - неплохое решение, однако в какой то версии я заметил серьезную ошибку - соединение с БД происходит один раз, при запуске скрипта. Т е если в процессе работы мускль перезапустить (например), прокси сервис аварийно завершит работу. Далее, честно говоря, тестировать чужие решения не хотелось, т к уровень их (ИМХО) - студенческий, в связи с чем написал свое :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	7. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от ten on 07-Дек-07, 06:52
	Что вам мешает использовать external_acl_type Можете фильтровать и по src и по dst http://www2.tw.squid-cache.org/Versions/v2/2.6/cfgman/extern...
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	8. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от PbI6a on 07-Дек-07, 08:32
	Ни что не мешает, и, собственно говоря, это и использую. Просто все не оставляет надежда найти готовый реализованный костыль позволяющий обойти написаное черным по белому в доках сквида ограничение на отсутствия получения аунтификационных параметров при прозразном проксировании. Самому написать хелпер для сквида которые бы получая IP пользователя лез бы на машину с этим адресом и если там винда возвращал бы сквиду логин/GID пользователя залогиненого там на консоле мне, к сожелению, мой уровень програмирования не позволяет.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	10. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от www.andr.ru on 07-Дек-07, 09:33
	IMHO для ограничения трафика лучше пропатчить сам сквид. он легко может на старте пропарсить свой лог, составить табличку с юзерами и трафиком и при каждом запросе юзера её апдейтить и контролировать трафик. Будет работать гораздо быстрее, особенно если заюзать Oracle Berkeley DB и табличку хранить в ОЗУ. Совсем не понимаю, почему разработчики не включили эту фичу в кальмара - она нужна буквально всем
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	11. "аутентификация"
	Сообщение от Dvar on 07-Дек-07, 10:55
	А есть ли возможность в squid аутентифицировать пользователей, если они в инете не тока браузят? Например Radmin'ом или обычным удаленным рабочим столом человек сидит и ковыряется у клиентов, либо еще какие-то программы используются.Как учесть такой трафик? У мелкомягкой ISA Server есть Firewall client, который заворачивает весь трафик клиентской машины на ISA Server, при этом добавляя учетные данные. В никсах есть прокся с такими же клиентами??
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	12. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от coroner on 07-Дек-07, 14:38
	Много развлекался с такими подсчетами.Могу сказать что тоже не встретил ни одного нормального решения, которое удовлетворило бы меня. Небольшой сравнительный анализ могу привести: lightsquid - плюс очень шустрый,минус для переноса в БД нужно дописывать, минус-русские имена пользователей с пробелами. sams - плюс-почти все можно делать через веб-морду. минусы-косяки с кодировками(есть кои8 и вин, при iconv -f koi8-r -t utf8 вылезают косяки в яваскрипте),периодически выискивал косяки в коде php(в частности в том что касается пользователей в AD). squid-pb - плюс-написан на си.оооочень шустрый.минус-fifo, минус-не очень коректно работает с кавычками sarg - плюсов особых нет.минусы-кодировки,в бд-дописывать. у всех, что работают с БД есть самый большой минус: отсутствие проверки на уникальность записи (за 2 года не нашел в логах ни 1 неуникальной записи).оно и понятно: при проверке, скорость записи в БД снижается порой в тысячи раз. например скрипт cat access.log | \ sed "s/'/\\\'/g" | sed 's/\"/\\\"/g' | \ awk '{print "INSERT INTO squid  VALUES \(\""$1"\",\""$2"\",\""$3"\",\""$4"\",\""$5"\",\""$6"\",\""$7"\",\""$8"\",\""$9"\",\""$10"\"); "}' \| mysql -u root --password=password billing отрабатывает порядка 12000-15000 записей в сек, а аналогичный но с проверкой отрабатывает примерно 300-500 записей. если есть у кого желание могу отдать скрипты на пхп для последующей переписки оных на си, ибо сам не силен в последнем.что умеет: читает директорию с логами, если видит старые логи-кидает оные в базу, потом ротейтит сквид, читает access.log.0 .ну и соотвесно умеет проверять уникальность и умеет после перегонки в базу кидать в какойнить бекап-файл (его еще и пилит по N количеству строк).ну и по мелочи: конвертит юзверей из url в нормальный utf8 и добавляет слеши в УРЛах
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	13. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от coroner on 07-Дек-07, 14:56
	да и еще.после всяческих развлекух, пришел к выводу, что нужно делать связку freeradius+poptop+mysql+ulog+squid+MTA схема работы: все юзвери и логи (кроме MTA) в mysql пользователям жестко прописываются IP адреса сквид http запросы заворачиваем на squid ulog натравливаем только на редиректы pop3,imap,icq,https(3-й сквид и https мягко гря все плохо),ftp все внутренние сервисы выносим из VPN подсети (чтобы не считать например трафик до сайта со статистикой) и сотавляем только DNS.это нужно для того, чтобы оперативно брать цифры из таблицы radacct.при грамотной настройке цифры из radacct и цифры из squid+ulog совпадают на 99,99% (отличия будут только из-за того что винда любит широковещательные запросы) ну и соотвесна подсчет идет по squid (причем считать нужно не по DIRECT/ip_addr, а по статус кодам TCP_MISS и тд.встречал когда в одной строке стояли и TCP_MISS и DIRECT). не советую пихать в ulog http трафик,т.к. записей будет подавляющее большинство, а смысловой нагрузки несут мало (в общем и целом скажу, что если взять данные со сквида и данные с ulog, то они совпадают) настравиается данная связка примерно часа за 2.веб морда пишется бесконечно:)(80/20 пишется за день)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	14. "аутентификация"
	Сообщение от coroner on 07-Дек-07, 14:58
	сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	15. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от coroner on 07-Дек-07, 15:22
	ну и последнее по поводу fifo падает демон сбора-падает и сквид. да и потери будут.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	16. "аутентификация"
	Сообщение от Dvar on 07-Дек-07, 15:38
	>сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами а есть другие решения для этого?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	17. "аутентификация"
	Сообщение от coroner on 07-Дек-07, 16:31
	>>сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами > >а есть другие решения для этого? Исходя из целей: 1)Статистика посещений страниц-squid 2)Статистика по другим протоколам -масса. pmacct, net-acct, ulog iptables etc в общем и целом сходи сюда http://www.opennet.me/prog/sml/#26
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	18. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от sprite on 08-Дек-07, 13:30
	Еще как. У меня скрипт не успевал считывать и всё валилось. Единственное рабочее решение парсить лог. Поставил  syslog-ng, squid кидает лог в него, а syslog-ng squid-овские логи оформляет ежеминутно в новый файл YYYY/MM/DD/HH-MM.log далее через cron каждую минуту скрипт парсит лог сформированный в предыдущую минуту.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	19. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от ntimmy (ok) on 08-Дек-07, 14:17
	Попробуйте SAMS  в паре с ipcad отлично работает. Сделал подобное с авторизацией в домене NT4 на самбе. На ней же и файловый сервер понял. переделки в sams минимальные. добавляется один пункт меню для просмотра внешнего не http трафа по ip. в базу Sams одну таблицу с привязкой ip доменное имя. от прозрачного проксирования пришлось отказаться. Просто прикрыл доступ наружу на 20-21, 80 порт все хостам кроме ip пркси.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	20. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от bytestore (??) on 09-Дек-07, 23:10
	зачем все это делать через сквид? этоже cache engine %) для квотирования ну если нет циски то средствами фильтров в любом случае способа узнать пользователя на транспортном уровне нет :( нужно придумывать схему и тд, сквид тут не причем да и его способ вытаскивать пользователя не всегда работает это только экплорер и вроде мозила опера выдают от кого запущены а таже icq через проксю или например винамп уже не скажет кто его запустил
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	21. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от Аноним on 10-Дек-07, 09:51
	все смотрим в сторону nufw после этова ищем агент под венду =)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	22. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от dm80 (ok) on 14-Дек-07, 18:54
	>ну и последнее по поводу fifo >падает демон сбора-падает и сквид. >да и потери будут. Речь идет о моей разработке? Смотри лог сквида, очень частая проблема - параметр redirect_children. Если количество пользователей превышает его значение, то сквид аварийно завершит работу. Это можно обойти, установив параметр redirector_bypass on (по умолчанию стоит off), но в этом случае если не будет хватать количества запущенных процессов редиректора, сквид просто пропустит клиента, а не остановится. Ну или, если позволяет ОЗУ, увеличить redirect_children до максимально возможноо количества клиентов :) PS: Если не так понял, и речь шла о другом, пардон :)
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	23. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от coroner on 17-Дек-07, 11:18
	не..я не про это я говорю про недостаток пропускания лога сквида через трубу... если коллектор, который читает этот pipe перестанет по каким-нить причинам читать, то соотвесно завалится и сам сквид.. про пользователей в курсе и опытным путем выяснил что выставлять количество аутентификаторов нужно примерно в 4-5 раз больше, нежели пользователей присутствует в сети..ибо вот
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	24. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."
	Сообщение от nnmn on 28-Дек-07, 11:46
	>все смотрим в сторону nufw после этова ищем агент под венду =) > угу, в том то и проблема что агент под винду платный :( впору брать самому их lib и писать :/ а так штука конечно прикольная
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]