URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 96505
[ Назад ]

Исходное сообщение
"Сбор мультристрочных логов"

Отправлено skeletor , 16-Мрт-16 13:56 
Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.
Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.
Может кто-то знает нормальное решение для работы с multistring логами?
Спасибо.

Содержание

Сообщения в этом обсуждении
"Сбор мультристрочных логов"
Отправлено Павел Самсонов , 17-Мрт-16 10:05 
> Есть несколько web-серверов с php. Задача - собирать логи со всех серверов
> в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так
> слать по TCP/UDP - нельзя, так как можно напороться на не
> ту последовательность строк на приёмнике.
> Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а
> его нельзя просто так написать, так как логи - это просто
> ошибки php и там может быть, что угодно.
> Может кто-то знает нормальное решение для работы с multistring логами?
> Спасибо.

Я не парился с rsyslog, там фиксируется hostname, а с одного хоста строки все равно одна за другой. Можно просто в дефолте юзать.


"Сбор мультристрочных логов"
Отправлено skeletor , 18-Мрт-16 15:37 
>[оверквотинг удален]
>> в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так
>> слать по TCP/UDP - нельзя, так как можно напороться на не
>> ту последовательность строк на приёмнике.
>> Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а
>> его нельзя просто так написать, так как логи - это просто
>> ошибки php и там может быть, что угодно.
>> Может кто-то знает нормальное решение для работы с multistring логами?
>> Спасибо.
> Я не парился с rsyslog, там фиксируется hostname, а с одного хоста
> строки все равно одна за другой. Можно просто в дефолте юзать.

Вот как раз и нет. Иногда бывает, что строки перемешиваются и приходят в том порядке.


"Сбор мультристрочных логов"
Отправлено Vladimir , 18-Мрт-16 16:05 
Logstash тогда ... но тяжелый, зараза, ElasticSearch + Logstash + Kibana