URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID9
Нить номер: 7294
[ Назад ]

Исходное сообщение
"Подскажите парсер"
Отправлено Evgeniy , 07-Апр-08 09:46

Доброе время суток All!
Имею кусок лога, присланного от провайдера в формате csv(объём ~80Mb) следующего вида
дата    время    куда    кто    объем
20080321    0959    194.67.45.123    10.0.142.103    2960
20080321    0959    194.67.45.129    10.0.142.103    6976
20080321    0959    212.48.138.18    10.0.142.103    306751
20080321    0959    212.48.138.19    10.0.142.103    184016
20080321    0959    212.48.138.20    10.0.142.103    14341
20080320    0914    212.76.160.49    10.0.142.103    2173998
20080320    1014    212.76.160.49    10.0.142.103    357
Вопрос такой - чем можно обсчитать и выдать статистику по каждому IP, по времени, пр. Нашёл в интернете множество программ, но все они требовали определённый формат лога, возможно есть другие, более универсальные системы или другой метод решения? Заранее благодарен за ответ.

Содержание

Подскажите парсер,phpcoder, 09:49 , 07-Апр-08
Подскажите парсер,angra, 16:10 , 07-Апр-08
- Подскажите парсер,Den, 11:32 , 15-Апр-08
  - Подскажите парсер,ShyLion, 09:26 , 21-Апр-08
Подскажите парсер,MKuznetsov, 21:08 , 21-Апр-08
Подскажите парсер,Evgeniy, 11:04 , 22-Апр-08

Сообщения в этом обсуждении

"Подскажите парсер"
Отправлено phpcoder , 07-Апр-08 09:49

>Доброе время суток All!
>
>Имею кусок лога, присланного от провайдера в формате csv(объём ~80Mb) следующего вида
CSV, это значит, что поля разделены с помощью запятой? Я бы на awk, наверное, сделал. (awk -F, и в бой! :) )

"Подскажите парсер"
Отправлено angra , 07-Апр-08 16:10

одна строчка на perl или awk, неужели нужно искать отдельную программу? Но если хочется можно взять понравившийся анализатор и сконвертировать имеющийся лог в нужный формат.

"Подскажите парсер"
Отправлено Den , 15-Апр-08 11:32

>одна строчка на perl или awk, неужели нужно искать отдельную программу? Но
>если хочется можно взять понравившийся анализатор и сконвертировать имеющийся лог в
>нужный формат.
если не силен в программировании, имортируй в excel, ну дальше наверное расказывать не надо ?

"Подскажите парсер"
Отправлено ShyLion , 21-Апр-08 09:26

>>одна строчка на perl или awk, неужели нужно искать отдельную программу? Но
>>если хочется можно взять понравившийся анализатор и сконвертировать имеющийся лог в
>>нужный формат.
>
>если не силен в программировании, имортируй в excel, ну дальше наверное расказывать
>не надо ?
65 тыс. строк и усе, приехали

"Подскажите парсер"
Отправлено MKuznetsov , 21-Апр-08 21:08

>[оверквотинг удален]
>20080321 0959 212.48.138.18 10.0.142.103 306751
>20080321 0959 212.48.138.19 10.0.142.103 184016
>20080321 0959 212.48.138.20 10.0.142.103 14341
>20080320 0914 212.76.160.49 10.0.142.103 2173998
>20080320 1014 212.76.160.49 10.0.142.103 357
>
>Вопрос такой - чем можно обсчитать и выдать статистику по каждому IP,
>по времени, пр. Нашёл в интернете множество программ, но все они
>требовали определённый формат лога, возможно есть другие, более универсальные системы или
>другой метод решения? Заранее благодарен за ответ.
mysql (или PostgreSQL) - импортируешь CSV и строишь запросы любой сложности..

"Подскажите парсер"
Отправлено Evgeniy , 22-Апр-08 11:04

Всем спасибо всем за помощь, реализовал простейший скрипт на perl, помогло man split а также вот эта статья http://shurick31.narod.ru/textregex.html