The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Тематический каталог: Сага о биллинге или считаем траффик на..."
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [ Отслеживать ]

"Тематический каталог: Сага о биллинге или считаем траффик на..."  +/–
Сообщение от auto_topic (??) on 23-Авг-05, 07:30 
Обсуждение статьи тематического каталога: Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + perl+ MySQL) (freebsd isp billing traffic netgraph perl mysql)

Ссылка на текст статьи: http://www.opennet.me/base/net/ng_billing_letter.txt.html

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

1. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от evil (??) on 23-Авг-05, 07:30 
Статья отличная!! Большое спасибо автору за его труд!
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Nick email(??) on 02-Сен-05, 23:27 
Прекрасная статья!
Вот только маленький впрос: где взять ng_ipacct для FreeBSD-5.4?
Здесь
ftp://ftp.wuppy.net.ru/pub/FreeBSD/local/kernel/ng_ipacct/
я ее не увидел. :-(
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Nick email(??) on 03-Сен-05, 13:23 
Предыдущая проблема решена. Возникла следующая:

Имеется FreeBSD-5.4 и ng_ipacct для 5.x.
NETGRAPH вкомпилен в ядро "по-полной".
При запуске ng_ipacct:
==
kldload ng_ipacct > /dev/null 2>&1
ngctl mkpeer ${IFACE}: tee lower right
ngctl connect ${IFACE}: lower upper left
ngctl name ${IFACE}:lower ${IFACE}_acct_tee
    /проходит нормально/
ngctl mkpeer ${IFACE}_acct_tee: ipacct right2left ${IFACE}_in
    /задумывается и выбрасывает в перезагрузку/
==
Когда ядро было скомпилено только с netgraph, ng_ether, ng_socket и ng_tee, или с kldload их же, начиная с
ngctl connect ${IFACE}: lower upper left
сыплются ошибки File not found

note: IFACE="rl0"

Подскажите, где грабли?

Спасибо!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от denisk email on 27-Сен-05, 12:26 
я бы поставил за эту статью 3 с натяжкой(по 5 бальной шкале). В статье описывается тока принципы копирования и сохранения информации о трафике в базу. Но с  таким форматом также не удобно работать. Статья нуждается в серъезной доработке.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Кирилл email(??) on 30-Ноя-05, 03:49 
Огромное спасибо автору. Я совсем ньюби во фре, но даже у меня за 4 дня всё получилось. ставил на фре 6.0 + mysql 5.15
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Alex Povolotsky email on 03-Дек-05, 10:10 
Неплохо, но стиль программирования на перле... брр...

Если писать свой разборщик конфигов, то и DBI пользоваться не надо - нужно самостоятельно писать коннект к базе. Опять же, varchar(255) для IP-адреса - почему так мало? А если адрес будет в 256  байт?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от SomeThingWrong email on 17-Мрт-06, 17:14 
Писал подобное, только гораздо навароченнее.

А)У MySQL есть отличный метод "LOAD DATA INFILE...." - закидываем в базу всё и оптом.

Б) 2Alex Povolotsky, где ты видел IP адрес длиннее хотя бы 255 байт? Автору, использование VARCHAR полей для src/dst port и т.п. - крайне не эффективно, достаточно 2х байтового unsingned целого. Со временем пришел и к тому, что src/dst ip пришлось хранить в unsigned int. а для поля bytes взял bigint. И хранится эффективнее (место), и ищется быстрее (операции над числами на порядок быстрее чем со строками), тем более и в php и средствами mysql можно легко переводить bin-ip в dot-string-ip.

p.s. Пока выложить сюда всё свое творение на основе этого не могу по финансовым соображения, чуть позже может выложу.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от zyxman on 13-Апр-06, 04:29 
Спасибо автору - скрипты действительно удобнее оригинальных!

однако тяжеловат стиль - я на перле каждый день програмлю и все равно мне сложно было прочитать весь объем.
ну и таки да - зачем строками хранить то что намного эффективнее хранить числами?
то есть кроме имени машины все остальное нужно держать в: unsigned int или bigint соответственно.

2Alex Povolotsky - отдельное спасибо, насчет IP адреса длинее 255 байт я долго смеялся :))

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от nub on 02-Июн-06, 17:50 
поставил все работает, но ip_dest содержит внутренний ip роутера - где накосячил? Получается что все пакеты исходящие от роутера :(
FreeBSD 6.0 + Nat+IPFW+Squid.

Подскажите плиз?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от pVV on 28-Июл-06, 11:53 
Отличная статья!
Большое спасибо!
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел email(??) on 28-Июл-06, 18:42 
> ip_from varchar(255)
> ip_to varchar(255)
аффтару низачот! научитесь считать до 15 (при IPv4) ну или до 45 (в случае IPv6), короче говоря стоит юзать varchar(15) для IPv4 или varchar(45) для IPv6... в общем статья неплохая, но как и было сказано - на троечку...
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Fire_Anton email(??) on 06-Дек-06, 10:47 
Вопрос аффтору.
Замем время и дату сначала загонять во временный файл, а потом его от туда вытаскивать для того, что-бы загнать в базу? Если можно просто загнать его в базу.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел email(??) on 06-Дек-06, 12:57 
>Замем время и дату сначала загонять во временный файл, а потом его
>от туда вытаскивать для того, что-бы загнать в базу? Если можно
>просто загнать его в базу.

Там применяется в корне неверная методика "INSERT INTO $table_date", в то время как правильнее было бы создать например CVS файл, а потом этот файл загнать в БД через LOAD DATA, т.к. это в разы быстрее чем INSERT-ом базу мучить...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Fire_Anton email(??) on 06-Дек-06, 22:14 
Большая прозьба дать правельный метод. Очень надо.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел email(??) on 07-Дек-06, 11:19 
>Большая прозьба дать правельный метод. Очень надо.

например я вот так запихиваю статистику по netflow в БД:
собсно весь замут в том что flow-capture может передавать, при ротейте, имя файла некоему скрипту, который выглядит вот так:

#!/bin/sh

# load MySQL configuration variables
if [ -r /usr/local/etc/mysql_clients.conf ]; then
        . /usr/local/etc/mysql_clients.conf
fi

prefix="/usr/local"
flow_export="$prefix/bin/flow-export"

flow_dir="/usr/local/data/netflow/flows"

file_date="`date +%Y-%m-%d_%H-%M`"
flow_file_in="$1"
flow_file_out="$flow_dir/$file_date.csv"

if [ -z $1 ]; then
        echo "Usage: `basename $0` ft-xyz" >&2
        exit 1
fi

if [ -f $flow_file_in ]; then
        $flow_export -f 2 -m UNIX_SECS,DFLOWS,DPKTS,DOCTETS,SRCADDR,DSTADDR,SRCPORT,DSTPORT,PROT,TOS < $flow_file_in > $flow_file_out
fi

if [ -f $flow_file_out ]; then
        $mysql -D netflow -B -e "LOAD DATA INFILE '$flow_file_out' INTO TABLE raw FIELDS TERMINATED BY ',' ENCLOSED BY '' LINES TERMINATED BY '\n'; DELETE FROM raw WHERE srcaddr='srcaddr' AND dstaddr='dstaddr'; INSERT INTO raw_data SELECT unix_secs,INET_ATON(srcaddr),INET_ATON(dstaddr),dpkts,doctets,srcport,dstport,prot,tos FROM raw; TRUNCATE TABLE raw;"
        rm -f $flow_file_out
fi

т.е. из бинарика flow-tools создается CVS файл который загружается в мускул, во временную БД через:
LOAD DATA INFILE '$flow_file_out' INTO TABLE raw FIELDS TERMINATED BY ',' ENCLOSED BY '' LINES TERMINATED BY '\n';
ну и потом разбирается и все... не скажу что супер-пупер метод, но... работает :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "INET_ATON"  +/–
Сообщение от Федор on 12-Дек-06, 23:47 
Подскажите плиз...
как использовать функцию MySQL'я INET_ATON в данном скрипте (ng_stat_in.pl)? или это не реально? :(  
=====
sub insert_data_db {
my ($dbh,$sth,$count);
$dbh = DBI->connect("DBI:mysql:host=$serverdb;database=$dbname","$dbuser","$dbpass")
                or &error_connection_in;
$insert = "INSERT INTO $table_date (ip_from,s_port,ip_to,d_port,proto,packets,bytes,date_ins,time_ins,host,interface) VA
LUES (?,?,?,?,?,?,?,?,?,?,?)";

$sth = $dbh->prepare("$insert");
#print "$insert\n";
while (@ipacct_arr_in) {
        $line_in = shift @ipacct_arr_in;
        ($ip_from,$s_port,$ip_to,$d_port,$proto,$packets,$bytes,$date_ins,$time_ins,$host,$interface)=split(/[\s\t]+/,$l
ine_in);
        if (!defined $proto){
                $proto="0";
        }
        if (!defined $packets){
                $packets="0";
        }
        if (!defined $bytes){
                $bytes="0";
        }
        $sth->execute ($ip_from,$s_port,$ip_to,$d_port,$proto,$packets,$bytes,$date_ins,$time_ins,$host,$interface);
}

$sth->finish;
$dbh->disconnect;
}
=====

Спасибо

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от deadrunk email on 28-Мрт-07, 02:04 
Посмотри для интереса еще мануал MySQL на тему функций INET_ATON() и INET_NTOA(), хранить ip в varchar'e не кошерно ;) Да и медленнее с varchar'ами опять же.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел (??) on 28-Мрт-07, 10:18 
>Посмотри для интереса еще мануал MySQL на тему функций INET_ATON() и INET_NTOA(),
>хранить ip в varchar'e не кошерно ;) Да и медленнее с
>varchar'ами опять же.

Посмотрите ниже на тему запостенного мною скрипта который эти ф-ции как раз и использует ;)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от mikev email on 11-Май-07, 10:28 
такая получилась проблема - есть пачка заархивированных логов  за полгода.
надо их сунуть в мускуль.
по идее бы LOAD DATA INFILE использовать. Но тогда не получится заполнить поля date & time, которые беруться из названия обрабатываемого лога.
INSERT'ом сделать быстро не получилось.. за трое суток оно обработало два дня ) так нельзя..
Может есть у кого готовое решение?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Fire_Anton email(ok) on 11-Май-07, 13:23 
>такая получилась проблема - есть пачка заархивированных логов  за полгода.
>надо их сунуть в мускуль.
>по идее бы LOAD DATA INFILE использовать. Но тогда не получится заполнить
>поля date & time, которые беруться из названия обрабатываемого лога.
>INSERT'ом сделать быстро не получилось.. за трое суток оно обработало два дня
>) так нельзя..
>Может есть у кого готовое решение?


Терпение. И машину помошнее.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел (??) on 11-Май-07, 16:10 
>такая получилась проблема - есть пачка заархивированных логов  за полгода.
>надо их сунуть в мускуль.

это проблема? ;)

>по идее бы LOAD DATA INFILE использовать. Но тогда не получится заполнить
>поля date & time, которые беруться из названия обрабатываемого лога.

1. именно этот метод и надо использовать! ;)
2. кто Вам мешает не трогать поля времени и оставлять их оригинальными?

>за трое суток оно обработало два дня

что-то Вы не то делаете... точно не то ;)

>Может есть у кого готовое решение?

на мой пост чуть выше гляньте - работает 100%, да, долго, но уж точо не за такое время как у Вас... у меня таким макаром месяц за пару часов вливается...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от mikev email on 11-Май-07, 16:44 
я может чего-то не понимаю но:
1. логи хранятся так /var/log/ipacct/2007-02-02/2007-02-02-10-fxp0.gz
2. в самих логах есть поля s_ip s_port d_ip d_port prot bytes in_out
3. в моей таблице ещё есть столбцы date и time

при LOAD DATA INFILE я могу заполнить _только_ те поля, которые есть в загружаемом логе. Правильно ведь? Или я недостаточно хорошо читал описание для LOAD DATA INFILE?
У меня не получилось. В итоге конечно быстро все загружается. Но мои таблицы остаются с пустыми полями date & time и я не могу делать выборку по дням\часам. А надо. )

Если парсить каждую строку и пихать инсертом - это висилица. Хотя может опять же что-то не так делаю? )

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

23. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Павел (??) on 11-Май-07, 17:23 
>я может чего-то не понимаю но:
>1. логи хранятся так /var/log/ipacct/2007-02-02/2007-02-02-10-fxp0.gz
>2. в самих логах есть поля s_ip s_port d_ip d_port prot bytes in_out
>3. в моей таблице ещё есть столбцы date и time
>
>при LOAD DATA INFILE я могу заполнить _только_ те поля, которые есть
>в загружаемом логе. Правильно ведь? Или я недостаточно хорошо читал описание
>для LOAD DATA INFILE?
>У меня не получилось. В итоге конечно быстро все загружается. Но мои
>таблицы остаются с пустыми полями date & time и я не
>могу делать выборку по дням\часам. А надо. )
>
>Если парсить каждую строку и пихать инсертом - это висилица. Хотя может
>опять же что-то не так делаю? )

а если сделать вот так:
- загрузить данные за 1-й период
- потом простенько так:
UPDATE traffic SET traf_date_or_time = 'дата/время_файла' WHERE traf_date_or_time = '0000-00-00 00:00:00';
или
UPDATE traffic SET traf_date_or_time = 'дата/время_файла' WHERE traf_date_or_time = '';
или
UPDATE traffic SET traf_date_or_time = 'дата/время_файла' WHERE traf_date_or_time IS NULL;
или как нить еще, короче у вас после внесения в БД будет куча полей с данными о траффике но у них будет одно и то же время, которое указано через default при создании таблицы, а во время загрузки Вы (скрипт) точно знаете время к которому относится файл, верно? ну так ее (дату) и используете для установки времени данных
- повторяете для каждого файла
где-то примерно так ... по идее должно заработать ;)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

24. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от mikev email on 11-Май-07, 18:07 
блин, точно.
мозг совсем работать перестал )
спасибо большое буду пробовать )
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

25. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от devchaos email(??) on 30-Июн-07, 17:15 
>такая получилась проблема - есть пачка заархивированных логов  за полгода.
>надо их сунуть в мускуль.
>по идее бы LOAD DATA INFILE использовать. Но тогда не получится заполнить
>поля date & time, которые беруться из названия обрабатываемого лога.
>INSERT'ом сделать быстро не получилось.. за трое суток оно обработало два дня
>) так нельзя..
>Может есть у кого готовое решение?

http://dev.mysql.com/doc/refman/5.0/en/load-data.html


LOAD DATA INFILE 'file.txt'
  INTO TABLE t1
  (column1, column2)
  SET column3 = CURRENT_TIMESTAMP;
Что мешает вставить вместо CURRENT_TIMESTAMP имя файла?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

26. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от UnixLamaster email(??) on 16-Авг-07, 19:50 
Помогите пожалуйста разобраться!
Собрал ядро 6.2:
options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_SOCKET
options         NETGRAPH_TEE

В ядре,а не в модуле, потому что нужно для других программ.

Обновил порты, поставил: ng_ipacct-20061223.tar.gz

Запускаю:
# ./ng_ipacct start
./ng_ipacct: DEBUG: checkyesno: ng_ipacct_enable is set to YES.
./ng_ipacct: DEBUG: run_rc_command: evaluating start_cmd().
./ng_ipacct: DEBUG: checkyesno: ng_ipacct_modules_load is set to NO.
./ng_ipacct: DEBUG: start ng_ipacct interface ng0
dlt = RAW
ngctl: send msg: Address already in use
ngctl: line 3: error in file
/usr/local/sbin/ipacctctl ng0_ip_acct:ng0 dlt RAW
/usr/local/sbin/ipacctctl ng0_ip_acct:ng0 threshold 5000
/usr/local/sbin/ipacctctl ng0_ip_acct:ng0 verbose 1
/usr/local/sbin/ipacctctl ng0_ip_acct:ng0 saveuid 0
/usr/local/sbin/ipacctctl ng0_ip_acct:ng0 savetime 0
# ngctl show ng0_ip_acct:
  Name: ng0_ip_acct     Type: ipacct          ID: 0000000c   Num hooks: 2
  Local hook      Peer name       Peer type    Peer ID         Peer hook      
  ----------      ---------       ---------    -------         ---------      
  ng0_out         ks_ng0_out      ksocket      0000000e        inet/raw/divert
  ng0_in          ks_ng0_in       ksocket      0000000d        inet/raw/divert

# ipacctctl ng0_ip_acct:ng0 checkpoint
# ipacctctl ng0_ip_acct:ng0 show

ПУСТОООО !!!!

Пробовал на разных интерфейсах: rl0, rl1, tun0
Ничего не выдаёт :(((
Помогите пожалуйста.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

27. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от UnixLamaster email(??) on 16-Авг-07, 20:39 
Или выдаёт такое:
# ipacctctl rl0_ip_acct:rl0 show
Accounting exceed threshold by 134 packets (10272 bytes)
Accounting exceed threshold by 22 packets (3357 bytes)

А где обещанная детализация трафика ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

28. "Помогите!"  +/–
Сообщение от Kostya (??) on 08-Сен-08, 17:10 
День добрый!

При выполнении скрипта получаю ошибку:
# ./ng_stat_in.pl
install_driver(mysql) failed: Can't load '/usr/local/lib/perl5/site_perl/5.10.0/i386-freebsd-64int/auto/DBD/mysql/mysql.so' for module DBD::mysql: /usr/local/lib/compat/libpthread.so.2: Undefined symbol "__malloc_lock" at /usr/local/lib/perl5/5.10.0/i386-freebsd-64int/DynaLoader.pm line 203.
at (eval 4) line 3
Compilation failed in require at (eval 4) line 3.
Perhaps a required shared library or dll isn't installed where expected

Что делать?

Заранее спасибо!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

29. "Помогите!"  +/–
Сообщение от Fire_Anton email(ok) on 12-Сен-08, 13:45 
Половина ответа в вопросе.
Ты почитай, что там написано. Там написано, что что-то не установлено. Осталось найти, что ты недо установил.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

30. "Сага о биллинге или считаем траффик на FreeBSD (ng_ipacct + ..."  +/–
Сообщение от Dmitriy email(??) on 01-Дек-09, 11:01 
Скажите кто нибудь мне пожалуйста, как правильно раcсчитать threshold. Памяти 2 Гб.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору


Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру