Ключевые слова:statistic, freebsd, ipfw, traffic, (найти похожие документы)
From: Дмитрий Лутай <dimoon_lda@ukr.net.>
Newsgroups: http://dimoon.kiev.ua
Date: Mon, 20 Sep 2004 18:21:07 +0000 (UTC)
Subject: Построение системы учета трафика с хранением результатов в БД
Оригинал: http://dimoon.kiev.ua/modules.php?name=News&file=article&sid=15&mode=thread&order=0&thold=0
Построение системы учета трафика с хранением результатов в базе данных
После установки и настройки файервола, естественной задачей является
подсчет трафика, проходящего через него.
Задача
Поствалена задача осуществить подсчёт траффика проходящего через
FIREWALL на базе FreeBSD, не применяя коммерческих средств учета
трафика.
Необходимые инструменты
Для ведения статистики по трафику понадобятся следующие инструменты:
- SQL-сервер. Для хранения собранной информации. В принципе подойдет
любой. В нашем примере это FireBird.
- Рабочая станция, на которой работает PHP, команда sh, и программа
которая умеет запускать процессы по расписанию. Для этих целей
идеально подходит любой UNIX-сервер.
В качестве файервола используется сервер под управлением FreeBSD 4.6 .
Решение
Поставим конкретную задачу: дана локальная сеть 192.168.5.0/24,
подключенная к Интернет через файервол на базе FreeBSD 4.6. Необходимо
представить отчет по траффику в Интернет каждой рабочей станции
локальной сети.
Firewall - это система, управляющая прохождением пакетов данных через
систему на основе заданных администратором правил и информации,
содержащейся в заголовках пакетов. Обычное использование firewall -
запрещение прохождения нежелательных пакетов, или закрытие части
сервисов локальной сети от внешнего мира. В системе FreeBSD firewall -
это мощный инструмент управления сетью, позволяющий, например,
подсчитывать трафик по любым разумным правилам, основывающимся на
данных заголовков пакетов протоколов стека TCP/IP, обрабатывать пакеты
внешними программами, прятать за одним компьютером целую сеть и т.п.
Правило с помощью которого можно подсчитать все пакеты для данного
IP-адреса выглядит так:
count all from any to ip_адрес
Что-бы добавить это правило в скрипт правил файервола нужно написать
так:
ipfw add номер_правила count all from any to ip_адрес
Это для одного IP, а если их у нас 255? Тогда запустим эту процедуру
через цикл:
ipfw='/sbin/ipfw -q'
i=470
ip=1
while [ $i -le 725 ]
do
${ipfw} add $i count all from any to 192.168.5.$ip
ip=`echo "$ip+1" | bc`
i=`echo "$i+1" | bc`
done
В этом скрипте i - номер правила(начальный, например 470);
ip - начальный ip-адрес;
В результате получим правило типа ipfw add номер_правила count all
from any to ip_адрес, для каждого ip-адреса нашей сети. Файервол будет
делать свою работу и считать нам все байты для каждого ip.
Посмотреть состояние каждого счётчика можно командой ipfw show
номер_правила.
А очистить счётчик можно командой ipfw zero номер_правила.
На этих простых командах и построена работа системы.
Хранить информацию по каждому ip будем в БД под управлением FireBird.
База имеет только одну таблицу.
Структура таблицы:
/* Table: LOGCOUNTER */
CREATE TABLE LOGCOUNTER (
LOGCOUNTERID INTEGER NOT NULL,
TIMELOG DATE,
IPADRESS VARCHAR (15),
RULENUM INTEGER,
COUNTPAKETS INTEGER,
COUNTBYTES INTEGER
);
В систему входят следующие скрипты:
save_db.php - Скрипт для получения статистики с файервола и помещения в базу данных.
config.php - конфигурационный файл.
create_tar - скрипт для архивирования логов.
Рассмотрим работу этих скриптов более подробно:
config.php
$dbname = "/path/to/database";
$dbuser = "login";
$dbpass = "passwd";
$ipfw='/sbin/ipfw ';
$i_per=470;
$ip_per=1;
$i_kon=724;
$file_log='/usr/local/ipfw_counter/logs/firewall_count.txt';
$path_logs='/usr/local/ipfw_counter/logs';
$my_date='$(date +%Y-%m-%d-%H-%M-%S)';
?>
где,
$dbname - название БД, с полным путём к ней;
$dbuser - логин для подключения к БД;
$dbpass - пароль для подключения к БД;
$i_per - номер первого правила;
$ip_per - номер первого ip;
$i_kon - номер последнего правила;
$file_log - путь к временному файлу лога;
$path_logs - путь к каталогу, где будут храниться логи;
save_db.php
include('config.php');
//Запись значения счётчиков в временный файл
$i=$i_per;
$st="";
while ($i<=$i_kon) {
$st=$st.' '.$i;
$i++;
}
exec($ipfw.' show '.$st.' > '.$file_log);
//очистка счётчиков
$i=$i_per;
while ($i<=$i_kon) {
exec($ipfw.' zero '.$i);
$i++;
}
//Подключение к БД
$conn=ibase_connect($dbname,$dbuser,$dbpass);
//Чтение и обработка фременного файла логов
if (file_exists($file_log)<>0) {
$ftext=file($file_log);
for ($i=0;$i<=(count($ftext)-1);++$i){
$strTmp = trim($ftext[$i]);
$len = strcspn($strTmp, " ");
$RuleNum = substr($strTmp,0,$len);
$strTmp = trim(substr_replace($strTmp, " ", 0, $len));
$len = strcspn($strTmp, " ");
$CountPakets = substr($strTmp,0,$len);
$strTmp = trim(substr_replace($strTmp, " ", 0, $len));
$len = strcspn($strTmp, " ");
$CountBytes = substr($strTmp,0,$len);
$strTmp = trim(substr_replace($strTmp, " ", 0, $len));
$arrTmp = explode(" ", $strTmp);
$IPAdress = $arrTmp[5];
$TimeLog = date;
//Вставка значений счётчиков в БД
$sqlExpr="INSERT INTO LOGCOUNTER
(IPADRESS,RULENUM,COUNTPAKETS,COUNTBYTES,TIMELOG)";
$sqlExpr.="VALUES
('$IPAdress','$RuleNum','$CountPakets','$CountBytes', 'NOW')";
$SRSet=ibase_query($conn,$sqlExpr);
}
}
/* Перемещение файла лога в папку для логов, и переименование его в */
/* файл типа $my_date.firewall_count.txt, где переменная $my_date */
/* принимает значение текущей даты в формате YYYY-MM-DD-HH-MM-SS */
exec('/bin/mv '.$path_logs.'/firewall_count.txt
'.$path_logs.'/'.$my_date.'.firewall_count.txt')
?>
Запускать этот скрипт будем с помощью механизма периодического запуска
процессов "cron". Итак, чтобы снимать статистику каждый час в файле
/etc/crontab следует прописать такую строчку:
0 */1 * * * root /usr/local/bin/php /usr/local/ipfw_counter/save_db.php
В результате в базу будет вставлятся информация о состоянии каждого
счётчика и ещё эта иформация будет пересохранятся в логах.
Получение данных из базы и подсчёт траффика. Программы выборки трафика
могут быть самыми различными. По сути, нужно правильно сформировать
запрос в базу и обработать полученные данные. Запрос к базе следующего
вида
select SUM(SIZEBYTES) SIZEBYTES, Upper(IPADRESS)
from LOGFREEBSD
Where
((DATELOG>='25.10.2004 00:00:00')
And(DATELOG<'29.10.2004 00:00:00'))
group by IPADRESS
order by IPADRESS
в результате выдаст нам статистику по ip-адресам за период с
25.10.2004 по 28.10.2004 в таком виде:
SIZE BYTES UPPER
12 382 859 192.168.5.112
147 576 192.168.5.116
3 572 654 192.168.5.122
3 604 192.168.5.126
1 482 758 192.168.5.155
887 067 192.168.5.248
296 070 192.168.5.249
1 610 589 192.168.5.47
1 654 237 192.168.5.49
85 750 192.168.5.57
8 548 203 192.168.5.71
64 445 192.168.5.74
176 206 192.168.5.75
1 802 192.168.5.77
create_tar
#!/bin/sh
PATH_LOGS="/usr/local/ipfw_counter/logs/"
MY_DATE=$(date +%Y-%m-%d)
cd ${PATH_LOGS}
tar --create ${MY_DATE}*.* --file=log.backup/${MY_DATE}.tar
rm ${MY_DATE}*.txt
Этот скрипт архивирует логи которые скапливаются в каталоге для логов.
Его можно запускать с помощью "cron" в конце каждого дня.
59 23 * * * root /usr/local/ipfw_counter/create_tar
Вот по сути и всё. Система очень проста в установке, нужно просто
скачать архив скриптов [20]здесь и разархивировать его в каталог
/usr/local или любой другой но для этого придется поменять пути для
хранения лог-файлов.
Дмитрий Лутай. Октябрь 2004, Украина.
<dimoon_lda@ukr.net.>
<http://dimoon.kiev.ua>;
