forum.opennet.ru - "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" (35)

"Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
Сообщение от opennews (??), 08-Ноя-23, 23:41
Опубликован релиз Netflow/IPFIX коллектора Xenoeye 23.11, позволяющего собирать с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v5, v9 и IPFIX, а также обрабатывать данные, генерировать отчёты и строить графики. Ядро проекта написано на языке С, код распространяется под лицензией ISC... Подробнее: https://www.opennet.me/opennews/art.shtml?num=60077
Ответить \| Правка \| Cообщить модератору

Оглавление

GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угад, Аноним (1), 23:41 , 08-Ноя-23, (1) +1

халявной максмайнд базой пользуетесь , OpenEcho (?), 00:19 , 09-Ноя-23, (2) +1

альтернативы , penetrator (?), 05:17 , 09-Ноя-23, (3)

платная база, очевидно же если нищeбpод или паспорт не того цвета - можно купить, onanim (?), 08:35 , 09-Ноя-23, (9) –3

Широта и долгота есть в базах ipapi Это просто широта и долгота города, плюс-ми, Аноним (8), 08:23 , 09-Ноя-23, (8) +1

А sflow он не умеет очень жаль , San (??), 08:15 , 09-Ноя-23, (7) +2

Откройте ишшуй на гитхабе, если не сложно Можно на русском Для того чтобы доба, Аноним (8), 08:59 , 09-Ноя-23, (12)

Да нет меня на гитхабе и не будет к сожалению Если внесете sflow в планы, то д, San (??), 11:38 , 09-Ноя-23, (17)

Кто-то уже создал issue, все нормально Хорошо, я поговорил с нашими сетевыми гу, Аноним (8), 13:18 , 09-Ноя-23, (20) +1

Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт https docs , Аноним (29), 03:45 , 10-Ноя-23, (29)

goflow2 умеет Собираем им статистику с наших SRX, работает отлично , Аноним (34), 14:48 , 11-Ноя-23, (34)

Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо , Аноним (11), 08:55 , 09-Ноя-23, (11)

Нет, не очень годится Мы его попробовали чуть ли не в первую очередь Он же на , Аноним (8), 09:08 , 09-Ноя-23, (13) +2

Погоняю на postgre, посмотрю как оно У меня сейчас netflow на допотопном nfcapd, Аноним (11), 09:50 , 09-Ноя-23, (14)

Вот он, настоящий линукс-гейминг , Третий П (?), 10:07 , 09-Ноя-23, (15) +1
А чем плох nfcapd nfsen Не, я не спорю, мне для общего понимания ситуации , sabitov (ok), 20:29 , 09-Ноя-23, (28)

Практически все БД так себя ведут, вопрос только в пороговой нагрузке С influx , Аноним (34), 14:56 , 09-Ноя-23, (21) +2

хорошим тоном является не усложнять без особой нужды иначе будет как у этих hab, ivan_erohin (?), 20:14 , 09-Ноя-23, (26)

Естественно И способность переваривать пики входных данных - это и есть особая, Аноним (34), 12:34 , 11-Ноя-23, (33)

где-то мощностей недодали не вижу ничего особого , glad_valakas (?), 09:54 , 12-Ноя-23, (38)

Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дис, LocalObserver (?), 16:15 , 09-Ноя-23, (24)

IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач Если вы хотите, Аноним (34), 14:54 , 11-Ноя-23, (35)

эхехе где же вы были в моем 2005 году нетфлоу коллектором мне пришлось заводить, ivan_erohin (?), 10:16 , 09-Ноя-23, (16) +1

В 2004 уже был flow-capture из flow-tools Показывать, конечно, сам ничего не по, Аноним 80_уровня (ok), 12:14 , 09-Ноя-23, (18)
Использовали ipcad и не парились , Аноним (23), 15:29 , 09-Ноя-23, (23)

он же только экспорт умеет я в конце концов подобрал простой и быстрыйhttps c, ivan_erohin (?), 20:04 , 09-Ноя-23, (25)

ой, вот тут Вы про считать не правы приходит к Вам товарищмайор и спрашивае, sabitov (ok), 20:26 , 09-Ноя-23, (27)

ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом, ivan_erohin (?), 11:17 , 10-Ноя-23, (30)

Ну, тут есть два момента 1 я описываю свой личный положительный опыт, 2 ко мн, sabitov (ok), 12:03 , 10-Ноя-23, (31) +1

вы могли бы положить на их дурацкие запросы болт логов не ведем, даже по закону, glad_valakas (?), 09:42 , 12-Ноя-23, (36)

полицай если ему не дали конкретно за тебя денег даже не пошевелится твой тел, Аноним (32), 10:03 , 11-Ноя-23, (32)

есть у них лайфхак, когда неохота возиться с повестками или отчитываться за пове, glad_valakas (?), 09:45 , 12-Ноя-23, (37)

Опять на Сях, писать блин больше не на чем чтоли Нечитаемая каша в итоге, как в, Аноним (19), 12:40 , 09-Ноя-23, (19) –1

Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок Жал, 1 (??), 15:12 , 09-Ноя-23, (22) +2
Зато быстро работает , вячеславус (?), 06:09 , 22-Ноя-23, (39)

Сообщения [Сортировка по времени | RSS]

1. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от Аноним (1), 08-Ноя-23, 23:41

GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.

Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от OpenEcho (?), 09-Ноя-23, 00:19

> с точностью в районе 15000км
халявной максмайнд базой пользуетесь?

Ответить | Правка | Наверх | Cообщить модератору

3. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от penetrator (?), 09-Ноя-23, 05:17

альтернативы?

Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" –3 +/–

Сообщение от onanim (?), 09-Ноя-23, 08:35

платная база, очевидно же.
если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.

Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от Аноним (8), 09-Ноя-23, 08:23

Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира.
Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

7. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +2 +/–

Сообщение от San (??), 09-Ноя-23, 08:15

А sflow он не умеет? очень жаль :(

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (8), 09-Ноя-23, 08:59

Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения.
Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от San (??), 09-Ноя-23, 11:38

Да нет меня на гитхабе и не будет к сожалению :(
Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe

Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от Аноним (8), 09-Ноя-23, 13:18

> меня на гитхабе и не будет
Кто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (29), 10-Ноя-23, 03:45

>Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют.
Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html
>VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

34. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (34), 11-Ноя-23, 14:48

> А sflow он не умеет? очень жаль :(
goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

11. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (11), 09-Ноя-23, 08:55

>экспортирует данные в PostgreSQL
Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?

Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +2 +/–

Сообщение от Аноним (8), 09-Ноя-23, 09:08

>Хотелось бы в influxdb, оно для этих целей больше годится
Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь.
Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант.
То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем

Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (11), 09-Ноя-23, 09:50

Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.

Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от Третий П (?), 09-Ноя-23, 10:07

> Погоняю
Вот он, настоящий линукс-гейминг.

Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от sabitov (ok), 09-Ноя-23, 20:29

> на допотопном nfcapd
А чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

21. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +2 +/–

Сообщение от Аноним (34), 09-Ноя-23, 14:56

> Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут.
Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду.
Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных.
При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

26. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от ivan_erohin (?), 09-Ноя-23, 20:14

> Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в
> БД, а в брокер
хорошим тоном является не усложнять без особой нужды.
иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/

Ответить | Правка | Наверх | Cообщить модератору

33. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (34), 11-Ноя-23, 12:34

> хорошим тоном является не усложнять без особой нужды.
Естественно. И способность переваривать пики входных данных - это и есть "особая нужда".
Потому что система не должна виснуть под нагрузкой.

Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от glad_valakas (?), 12-Ноя-23, 09:54

> Естественно. И способность переваривать пики входных данных -
> это и есть "особая нужда".
где-то мощностей недодали. не вижу ничего "особого".

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от LocalObserver (?), 09-Ноя-23, 16:15

Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

35. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (34), 11-Ноя-23, 14:54

IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти.
Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).

Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от ivan_erohin (?), 09-Ноя-23, 10:16

эхехе где же вы были в моем 2005 году ?
нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним 80_уровня (ok), 09-Ноя-23, 12:14

В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.

Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (23), 09-Ноя-23, 15:29

> где же вы были в моем 2005 году ?
Использовали ipcad и не парились?

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

25. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от ivan_erohin (?), 09-Ноя-23, 20:04

> Использовали ipcad и не парились?
он же только экспорт умеет ?
я в конце концов подобрал простой и быстрый
https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd
разумеется чужой поток netflow он принимать не умел.
а потом безлимиты пошли, ничего уже не надо считать,
только резать мусор и иногда шейпить.

Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от sabitov (ok), 09-Ноя-23, 20:26

ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..."
И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.

Ответить | Правка | Наверх | Cообщить модератору

30. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от ivan_erohin (?), 10-Ноя-23, 11:17

> И если у Вас таки есть логи фаервола и статистика netflow, то
ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом.
"ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо
и сами все определят (или нарисуют, неважно)".

Ответить | Правка | Наверх | Cообщить модератору

31. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +1 +/–

Сообщение от sabitov (ok), 10-Ноя-23, 12:03

> ничего не гарантирует, если полицай закусил удила в погоне ...
Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от glad_valakas (?), 12-Ноя-23, 09:42

> 1) я описываю свой личный положительный опыт
вы могли бы положить на их дурацкие запросы болт.
"логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще),
обратитесь к аплинку, возможно у них есть". на этом все.
> 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.
вестись на добрых полицаев - признак лоховства.
кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от Аноним (32), 11-Ноя-23, 10:03

полицай (если ему не дали конкретно за тебя денег) даже не пошевелится твой телефон набрать. Плавали знаем. Если ты не светился в уголовной хронике, можешь забивать и не париться.
у меня такой был, в финале позвонил и хотел вызвать на допрос в день рождения. Был послан, страшно удивился, но больше не звонил.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

37. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от glad_valakas (?), 12-Ноя-23, 09:45

> позвонил и хотел вызвать на допрос в день рождения.
есть у них лайфхак, когда неохота возиться с повестками или отчитываться за повестки:
"примите телефонограмму под запись". можно отморозиться.

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" –1 +/–

Сообщение от Аноним (19), 09-Ноя-23, 12:40

Опять на Сях, писать блин больше не на чем чтоли? Нечитаемая каша в итоге, как всегда.

Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +2 +/–

Сообщение от 1 (??), 09-Ноя-23, 15:12

Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок.
Жаль, что его нельзя называть.

Ответить | Правка | Наверх | Cообщить модератору

39. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11" +/–

Сообщение от вячеславус (?), 22-Ноя-23, 06:09

Зато быстро работает.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
Сообщение от Аноним (1), 08-Ноя-23, 23:41
GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
	Сообщение от OpenEcho (?), 09-Ноя-23, 00:19
	> с точностью в районе 15000км халявной максмайнд базой пользуетесь?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от penetrator (?), 09-Ноя-23, 05:17
	альтернативы?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	–3 +/–
	Сообщение от onanim (?), 09-Ноя-23, 08:35
	платная база, очевидно же. если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
	Сообщение от Аноним (8), 09-Ноя-23, 08:23
	Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира. Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору

7. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+2 +/–
Сообщение от San (??), 09-Ноя-23, 08:15
А sflow он не умеет? очень жаль :(
Ответить \| Правка \| Наверх \| Cообщить модератору


	12. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (8), 09-Ноя-23, 08:59
	Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения. Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от San (??), 09-Ноя-23, 11:38
	Да нет меня на гитхабе и не будет к сожалению :( Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
	Сообщение от Аноним (8), 09-Ноя-23, 13:18
	> меня на гитхабе и не будет Кто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили
	Ответить \| Правка \| Наверх \| Cообщить модератору


	29. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (29), 10-Ноя-23, 03:45
	>Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html >VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	34. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (34), 11-Ноя-23, 14:48
	> А sflow он не умеет? очень жаль :( goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.
	Ответить \| Правка \| К родителю #7 \| Наверх \| Cообщить модератору

11. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
Сообщение от Аноним (11), 09-Ноя-23, 08:55
>экспортирует данные в PostgreSQL Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?
Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+2 +/–
	Сообщение от Аноним (8), 09-Ноя-23, 09:08
	>Хотелось бы в influxdb, оно для этих целей больше годится Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь. Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант. То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (11), 09-Ноя-23, 09:50
	Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	15. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
	Сообщение от Третий П (?), 09-Ноя-23, 10:07
	> Погоняю Вот он, настоящий линукс-гейминг.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от sabitov (ok), 09-Ноя-23, 20:29
	> на допотопном nfcapd А чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору


	21. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+2 +/–
	Сообщение от Аноним (34), 09-Ноя-23, 14:56
	> Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду. Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных. При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).
	Ответить \| Правка \| К родителю #13 \| Наверх \| Cообщить модератору


	26. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от ivan_erohin (?), 09-Ноя-23, 20:14
	> Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в > БД, а в брокер хорошим тоном является не усложнять без особой нужды. иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (34), 11-Ноя-23, 12:34
	> хорошим тоном является не усложнять без особой нужды. Естественно. И способность переваривать пики входных данных - это и есть "особая нужда". Потому что система не должна виснуть под нагрузкой.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от glad_valakas (?), 12-Ноя-23, 09:54
	> Естественно. И способность переваривать пики входных данных - > это и есть "особая нужда". где-то мощностей недодали. не вижу ничего "особого".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от LocalObserver (?), 09-Ноя-23, 16:15
	Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору


	35. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (34), 11-Ноя-23, 14:54
	IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти. Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).
	Ответить \| Правка \| Наверх \| Cообщить модератору

16. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
Сообщение от ivan_erohin (?), 09-Ноя-23, 10:16
эхехе где же вы были в моем 2005 году ? нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.
Ответить \| Правка \| Наверх \| Cообщить модератору


	18. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним 80_уровня (ok), 09-Ноя-23, 12:14
	В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от Аноним (23), 09-Ноя-23, 15:29
	> где же вы были в моем 2005 году ? Использовали ipcad и не парились?
	Ответить \| Правка \| К родителю #16 \| Наверх \| Cообщить модератору


	25. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от ivan_erohin (?), 09-Ноя-23, 20:04
	> Использовали ipcad и не парились? он же только экспорт умеет ? я в конце концов подобрал простой и быстрый https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd разумеется чужой поток netflow он принимать не умел. а потом безлимиты пошли, ничего уже не надо считать, только резать мусор и иногда шейпить.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от sabitov (ok), 09-Ноя-23, 20:26
	ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..." И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от ivan_erohin (?), 10-Ноя-23, 11:17
	> И если у Вас таки есть логи фаервола и статистика netflow, то ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом. "ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо и сами все определят (или нарисуют, неважно)".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+1 +/–
	Сообщение от sabitov (ok), 10-Ноя-23, 12:03
	> ничего не гарантирует, если полицай закусил удила в погоне ... Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	36. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"	+/–
	Сообщение от glad_valakas (?), 12-Ноя-23, 09:42
	> 1) я описываю свой личный положительный опыт вы могли бы положить на их дурацкие запросы болт. "логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще), обратитесь к аплинку, возможно у них есть". на этом все. > 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди. вестись на добрых полицаев - признак лоховства. кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?
	Ответить \| Правка \| Наверх \| Cообщить модератору