The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Facebook открыл код системы мониторинга osquery"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Facebook открыл код системы мониторинга osquery"  +/
Сообщение от opennews on 29-Окт-14, 21:36 
Facebook объявил (https://code.facebook.com/posts/844436395567983/introducing-.../) об открытии исходных текстов проекта osquery (http://osquery.io/), в рамках которого развивается необычный инструмент низкоуровневого мониторинга за состоянием операционной системы. Своеобразность проекта заключается в том, что все отслеживаемые ресурсы отражены в форме виртуальной базы данных, обращение к которой производится через отправку SQL-запросов. Код написан на языке C++ и доступен (https://github.com/facebook/osquery) под лицензией BSD. Из операционных систем поддерживаются OS X и Linux.

Через SQL-запросы можно достаточно подробно анализировать состояние системы, например, как с SQL-таблицами можно работать со списками выполняемых процессов, загружаемыми модулями ядра, списками пользователей, открытыми сетевыми соединениями, таблицами маршрутизации. Каждый запрос отражает текущее состояние в данный момент времени. Несмотря на том, что в рамках проекта развивается подготовлена подборка (https://github.com/facebook/osquery/tree/master/osquery/tables) готовых ресурсов для мониторинга, при желании можно легко добавлять собственные уровни абстрации с поддержкой новых ресурсов и  подключать их в форме плагинов.


SQL-запросы можно передавать через стандартный вход в утилиту osquery или использовать специально подготовленный интерактивный интерфейс командной строки. Синтаксис запросов совместим (https://github.com/facebook/osquery/wiki/using-osqueryi) с SQLite. Для планирования опроса состояния систем на разных хостах подготовлен специальный фоновый процесс osqueryd, который может использоваться для создания распределённой инфраструктуры мониторинга, охватывающей несколько серверов. Кроме опроса текущего состояния разных систем, osqueryd занимается накоплением статистики изменений параметров систем, агрегирует имеющуюся статистику и ведёт лог изменений состояния.


В качестве примера, демонстрирующего удобство предлагаемого подхода, приводится запрос для вывода имён, идентификаторов и прикреплённых портов для всех процессов, слушающих сетевые соединения на указанном сетевом интерфейсе:

<font color="#461b7e">

   SELECT DISTINCT
     process.name, listening.port, process.pid
     FROM processes AS process
     JOIN listening_ports AS listening
     ON process.pid = listening.pid
     WHERE listening.address = '0.0.0.0';
</font>


Другой пример, показывает как найти выполняемые процессы, исполняемых файлов которых уже нет в файловой системе (например, для выявления вредоносного ПО):

<font color="#461b7e">
   SELECT name, path, pid FROM processes WHERE on_disk = 0;
</font>


URL: https://code.facebook.com/posts/844436395567983/introducing-.../
Новость: http://www.opennet.me/opennews/art.shtml?num=40964

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Facebook открыл код системы мониторинга osquery"  +2 +/
Сообщение от гость on 29-Окт-14, 21:36 
Это SDM. Sql-driven monitoring
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Facebook открыл код системы мониторинга osquery"  +3 +/
Сообщение от LionSoft (ok) on 29-Окт-14, 22:54 
Это BDSM. BaseData SQL Monitoring :)

Давайте файловую систему в SQL уже допилим, а то всё никак, ни у кого не доходят руки :)

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "Facebook открыл код системы мониторинга osquery"  +2 +/
Сообщение от Аноним (??) on 30-Окт-14, 00:53 
Bobby Tables обещал переименовать файл с своим hello world.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

18. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Аноним (??) on 30-Окт-14, 07:44 
открой для себя примеры в berkley db 5.x там был пример файловой системы и журнала в bd.
А если хорошо посмотришь - то файловая система это такая большая база данных из нескольких таблиц key<>value и очень быстрая.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

20. "Facebook открыл код системы мониторинга osquery"  +1 +/
Сообщение от LionSoft (ok) on 30-Окт-14, 08:34 
Только доступа по SQL запросам к файловой системе что-то не видать. Т.е. ФС key<>value есть и SQL базы есть, а полнофункционально ФС с SQL нет. BDB 5.x с примером считать полнофункцилнальной ФС полагаю не следует. А вообще смысла нет в такой ФС в целом, это как танк и самолет в единое целое совместить - получится и не танк и не самолет.
Но вообще, тут как-бы ирония по поводу SQL.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

28. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Аноним (??) on 31-Окт-14, 07:50 
чем не пример? bdb предоставляет контейнер с транзакциями - таблица аллоцированых инод, таблица аллоцированых блоков, и стопка таблиц с именами inode id, где-то поблочно данные, где-то записи директорий.

реализовать тоже самое на SQLite, за нефик делать. И будет sql доступ.

А вот и вообще готовое - http://oracle-base.com/articles/11g/dbfs-11gr2.php
http://search.cpan.org/dist/sqlfs-perl/bin/sqlfs.pl

это не доступ через sql к FS ?

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

21. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от PK6 on 30-Окт-14, 09:03 
Назад к AS/400?
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

24. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от анон on 30-Окт-14, 12:57 
Тогда уж вперед к system i
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

25. "Facebook открыл код системы мониторинга osquery"  +1 +/
Сообщение от Аноним (??) on 30-Окт-14, 17:23 
это BSDM)))
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

29. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от gus_ak on 31-Окт-14, 10:46 
Было мнение, что zfs и есть некое подобие SQL.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

30. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Аноним (??) on 31-Окт-14, 15:55 
8-o
Впрочем мнение местных Ыгспердов как обычно основанно на НЕЗНАНИИ и SQL и ZFS :)
Пройдите в сад!(С)
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

2. "Facebook открыл код системы мониторинга osquery"  +1 +/
Сообщение от Нанобот (ok) on 29-Окт-14, 22:03 
необычный инструмент - согласен. а вот есть ли от него какая-то практическая польза - сложно сказать
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Черный властелин on 29-Окт-14, 22:26 
Высокая производительность, низкое потребление ресурсов.
Простота вывода в внешние системы мониторинга посредством SQL запросов.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Facebook открыл код системы мониторинга osquery"  +1 +/
Сообщение от YetAnotherOnanym (ok) on 29-Окт-14, 23:08 
Много есть систем мониторинга, получающих инфу через SQL-запросы? И что, SNMP по сравнению с SQL сильно тяжёлый и переусложнённый язык? (Если считать языком определение MIB'ов)
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

11. "Facebook открыл код системы мониторинга osquery"  +6 +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 29-Окт-14, 23:50 
> Высокая производительность, низкое потребление ресурсов.

это же чушь полнейшная. Внедрение языка который позволяет делать хитрые запросы ну совсем никак не помогает улучшению производительности и потреблению ресурсов. Если это ещё сделать кое-как, то наоборот - даст ощутимый тормоз всего.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

16. "Facebook открыл код системы мониторинга osquery"  +6 +/
Сообщение от Crazy Alex (ok) on 30-Окт-14, 06:57 
Еще как помогает, если альтернатива - дикая смесь ps, grep и тому подобного.

Может, SQL - и не лучший выбор (черт, да он даже для баз данных - ни хрена не лучший выбор), но идея получения хорошо структурированного ответа на запрос, не разорваный по десяти утилитам - отличная.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

23. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Нанобот (ok) on 30-Окт-14, 10:43 
>Еще как помогает, если альтернатива - дикая смесь ps, grep и тому подобного

да ну его нафиг такие альтернативы

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

27. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Andrew (??) on 30-Окт-14, 18:51 
> он даже для баз данных - ни хрена не лучший выбор

А что для баз данных лучше?

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

10. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 29-Окт-14, 23:45 
профит заключается в возможности делать хитрые запросы для анализа. В обычных системах, например, нет интерфейся для произвольных запросов и их приходится кодить как-то руками. Это в теории, хз насколько хорошо это сделано в топике.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

12. "Facebook открыл код системы мониторинга osquery"  –5 +/
Сообщение от Anonymous1 on 30-Окт-14, 00:33 
Похоже, появились люди, называющие себя "администраторами" и кодящие на языке HTML и SQL...
Чем более убоги пользователи, тем сильнее приходится под них прогибаться.
Вот точно так же убогие скудоумцы, не осилившие пайпы из grep, awk, tail, ... ликуют от предлагаемых им в systemd бинарных логов с SQL интерфейсом...  
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

17. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Crazy Alex (ok) on 30-Окт-14, 06:59 
Ну, вообще все эти грепы с авками хороши для чего-то однократного или нетребовательного к ресурсам, иначе - SQL рулит. Что не отменяет полного идиотизма РЕАЛИЗАЦИИ этого дела в systemd. Ибо можно было получить все преимущества, не теряя совместимости с класическими текстовыми логами.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

9. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от Аноним email(??) on 29-Окт-14, 23:21 
Портировали оффтопиковый WQL ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от давно тут on 30-Окт-14, 03:35 
> Портировали оффтопиковый WQL ?

скорее WMI

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

15. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от давно тут on 30-Окт-14, 03:37 
а не, все верно WMI Query Language == WQL
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

19. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от shinanca on 30-Окт-14, 08:08 
Откройте глаза. WMI это слизанный формат CIM. В котором это все давно.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

22. "Facebook открыл код системы мониторинга osquery"  +2 +/
Сообщение от _KUL (ok) on 30-Окт-14, 09:15 
Саму возможность делать WQL с linux чтобы получить инфу с windows тачки, давно сделали http://www.aldeid.com/wiki/Wmic-linux

Но это же не полноценные рычаги управления системой, это так, только статистику с нужным колонками получить. Вот если бы сделали полноценную систему управления хостом из консоли/через утилитку запросами
INSERT INTO etc.passwd (username,password) VALUES ("_KUL", "12345");
это бы админы оценили!
p.s. Лучше бы разработчики systemd эту идею развили, меньше врагов имели бы.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

26. "Facebook открыл код системы мониторинга osquery"  +/
Сообщение от gred (ok) on 30-Окт-14, 18:50 
> Саму возможность делать WQL с linux чтобы получить инфу с windows тачки,
> давно сделали http://www.aldeid.com/wiki/Wmic-linux
> Но это же не полноценные рычаги управления системой, это так, только статистику
> с нужным колонками получить. Вот если бы сделали полноценную систему управления
> хостом из консоли/через утилитку запросами
> INSERT INTO etc.passwd (username,password) VALUES ("_KUL", "12345");
> это бы админы оценили!
> p.s. Лучше бы разработчики systemd эту идею развили, меньше врагов имели бы.

это частично реализует любая scm... (Ansible, Puppet, Chef, cdist)
там, конечно не sql, но оно там и не надо

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру