форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Facebook открыл код системы мониторинга osquery"	+/–
Сообщение от opennews on 29-Окт-14, 21:36
Facebook объявил (https://code.facebook.com/posts/844436395567983/introducing-.../) об открытии исходных текстов проекта osquery (http://osquery.io/), в рамках которого развивается необычный инструмент низкоуровневого мониторинга за состоянием операционной системы. Своеобразность проекта заключается в том, что все отслеживаемые ресурсы отражены в форме виртуальной базы данных, обращение к которой производится через отправку SQL-запросов. Код написан на языке C++ и доступен (https://github.com/facebook/osquery) под лицензией BSD. Из операционных систем поддерживаются OS X и Linux. Через SQL-запросы можно достаточно подробно анализировать состояние системы, например, как с SQL-таблицами можно работать со списками выполняемых процессов, загружаемыми модулями ядра, списками пользователей, открытыми сетевыми соединениями, таблицами маршрутизации. Каждый запрос отражает текущее состояние в данный момент времени. Несмотря на том, что в рамках проекта развивается подготовлена подборка (https://github.com/facebook/osquery/tree/master/osquery/tables) готовых ресурсов для мониторинга, при желании можно легко добавлять собственные уровни абстрации с поддержкой новых ресурсов и  подключать их в форме плагинов. SQL-запросы можно передавать через стандартный вход в утилиту osquery или использовать специально подготовленный интерактивный интерфейс командной строки. Синтаксис запросов совместим (https://github.com/facebook/osquery/wiki/using-osqueryi) с SQLite. Для планирования опроса состояния систем на разных хостах подготовлен специальный фоновый процесс osqueryd, который может использоваться для создания распределённой инфраструктуры мониторинга, охватывающей несколько серверов. Кроме опроса текущего состояния разных систем, osqueryd занимается накоплением статистики изменений параметров систем, агрегирует имеющуюся статистику и ведёт лог изменений состояния. В качестве примера, демонстрирующего удобство предлагаемого подхода, приводится запрос для вывода имён, идентификаторов и прикреплённых портов для всех процессов, слушающих сетевые соединения на указанном сетевом интерфейсе: <font color="#461b7e">    SELECT DISTINCT      process.name, listening.port, process.pid      FROM processes AS process      JOIN listening_ports AS listening      ON process.pid = listening.pid      WHERE listening.address = '0.0.0.0'; </font> Другой пример, показывает как найти выполняемые процессы, исполняемых файлов которых уже нет в файловой системе (например, для выявления вредоносного ПО): <font color="#461b7e">    SELECT name, path, pid FROM processes WHERE on_disk = 0; </font> URL: https://code.facebook.com/posts/844436395567983/introducing-.../ Новость: http://www.opennet.me/opennews/art.shtml?num=40964
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Facebook открыл код системы мониторинга osquery"	+2 +/–
Сообщение от гость on 29-Окт-14, 21:36
Это SDM. Sql-driven monitoring
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	7. "Facebook открыл код системы мониторинга osquery"	+3 +/–
	Сообщение от LionSoft (ok) on 29-Окт-14, 22:54
	Это BDSM. BaseData SQL Monitoring :) Давайте файловую систему в SQL уже допилим, а то всё никак, ни у кого не доходят руки :)
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	13. "Facebook открыл код системы мониторинга osquery"	+2 +/–
	Сообщение от Аноним (??) on 30-Окт-14, 00:53
	Bobby Tables обещал переименовать файл с своим hello world.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	18. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Аноним (??) on 30-Окт-14, 07:44
	открой для себя примеры в berkley db 5.x там был пример файловой системы и журнала в bd. А если хорошо посмотришь - то файловая система это такая большая база данных из нескольких таблиц key<>value и очень быстрая.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	20. "Facebook открыл код системы мониторинга osquery"	+1 +/–
	Сообщение от LionSoft (ok) on 30-Окт-14, 08:34
	Только доступа по SQL запросам к файловой системе что-то не видать. Т.е. ФС key<>value есть и SQL базы есть, а полнофункционально ФС с SQL нет. BDB 5.x с примером считать полнофункцилнальной ФС полагаю не следует. А вообще смысла нет в такой ФС в целом, это как танк и самолет в единое целое совместить - получится и не танк и не самолет. Но вообще, тут как-бы ирония по поводу SQL.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	28. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Аноним (??) on 31-Окт-14, 07:50
	чем не пример? bdb предоставляет контейнер с транзакциями - таблица аллоцированых инод, таблица аллоцированых блоков, и стопка таблиц с именами inode id, где-то поблочно данные, где-то записи директорий. реализовать тоже самое на SQLite, за нефик делать. И будет sql доступ. А вот и вообще готовое - http://oracle-base.com/articles/11g/dbfs-11gr2.php http://search.cpan.org/dist/sqlfs-perl/bin/sqlfs.pl это не доступ через sql к FS ?
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	21. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от PK6 on 30-Окт-14, 09:03
	Назад к AS/400?
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	24. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от анон on 30-Окт-14, 12:57
	Тогда уж вперед к system i
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	25. "Facebook открыл код системы мониторинга osquery"	+1 +/–
	Сообщение от Аноним (??) on 30-Окт-14, 17:23
	это BSDM)))
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	29. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от gus_ak on 31-Окт-14, 10:46
	Было мнение, что zfs и есть некое подобие SQL.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	30. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Аноним (??) on 31-Окт-14, 15:55
	8-o Впрочем мнение местных Ыгспердов как обычно основанно на НЕЗНАНИИ и SQL и ZFS :) Пройдите в сад!(С)
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

2. "Facebook открыл код системы мониторинга osquery"	+1 +/–
Сообщение от Нанобот (ok) on 29-Окт-14, 22:03
необычный инструмент - согласен. а вот есть ли от него какая-то практическая польза - сложно сказать
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	3. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Черный властелин on 29-Окт-14, 22:26
	Высокая производительность, низкое потребление ресурсов. Простота вывода в внешние системы мониторинга посредством SQL запросов.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	8. "Facebook открыл код системы мониторинга osquery"	+1 +/–
	Сообщение от YetAnotherOnanym (ok) on 29-Окт-14, 23:08
	Много есть систем мониторинга, получающих инфу через SQL-запросы? И что, SNMP по сравнению с SQL сильно тяжёлый и переусложнённый язык? (Если считать языком определение MIB'ов)
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	11. "Facebook открыл код системы мониторинга osquery"	+6 +/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 29-Окт-14, 23:50
	> Высокая производительность, низкое потребление ресурсов. это же чушь полнейшная. Внедрение языка который позволяет делать хитрые запросы ну совсем никак не помогает улучшению производительности и потреблению ресурсов. Если это ещё сделать кое-как, то наоборот - даст ощутимый тормоз всего.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	16. "Facebook открыл код системы мониторинга osquery"	+6 +/–
	Сообщение от Crazy Alex (ok) on 30-Окт-14, 06:57
	Еще как помогает, если альтернатива - дикая смесь ps, grep и тому подобного. Может, SQL - и не лучший выбор (черт, да он даже для баз данных - ни хрена не лучший выбор), но идея получения хорошо структурированного ответа на запрос, не разорваный по десяти утилитам - отличная.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	23. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Нанобот (ok) on 30-Окт-14, 10:43
	>Еще как помогает, если альтернатива - дикая смесь ps, grep и тому подобного да ну его нафиг такие альтернативы
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	27. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Andrew (??) on 30-Окт-14, 18:51
	> он даже для баз данных - ни хрена не лучший выбор А что для баз данных лучше?
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	10. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 29-Окт-14, 23:45
	профит заключается в возможности делать хитрые запросы для анализа. В обычных системах, например, нет интерфейся для произвольных запросов и их приходится кодить как-то руками. Это в теории, хз насколько хорошо это сделано в топике.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	12. "Facebook открыл код системы мониторинга osquery"	–5 +/–
	Сообщение от Anonymous1 on 30-Окт-14, 00:33
	Похоже, появились люди, называющие себя "администраторами" и кодящие на языке HTML и SQL... Чем более убоги пользователи, тем сильнее приходится под них прогибаться. Вот точно так же убогие скудоумцы, не осилившие пайпы из grep, awk, tail, ... ликуют от предлагаемых им в systemd бинарных логов с SQL интерфейсом...
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	17. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от Crazy Alex (ok) on 30-Окт-14, 06:59
	Ну, вообще все эти грепы с авками хороши для чего-то однократного или нетребовательного к ресурсам, иначе - SQL рулит. Что не отменяет полного идиотизма РЕАЛИЗАЦИИ этого дела в systemd. Ибо можно было получить все преимущества, не теряя совместимости с класическими текстовыми логами.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

9. "Facebook открыл код системы мониторинга osquery"	+/–
Сообщение от Аноним (??) on 29-Окт-14, 23:21
Портировали оффтопиковый WQL ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	14. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от давно тут on 30-Окт-14, 03:35
	> Портировали оффтопиковый WQL ? скорее WMI
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	15. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от давно тут on 30-Окт-14, 03:37
	а не, все верно WMI Query Language == WQL
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	19. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от shinanca on 30-Окт-14, 08:08
	Откройте глаза. WMI это слизанный формат CIM. В котором это все давно.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	22. "Facebook открыл код системы мониторинга osquery"	+2 +/–
	Сообщение от _KUL (ok) on 30-Окт-14, 09:15
	Саму возможность делать WQL с linux чтобы получить инфу с windows тачки, давно сделали http://www.aldeid.com/wiki/Wmic-linux Но это же не полноценные рычаги управления системой, это так, только статистику с нужным колонками получить. Вот если бы сделали полноценную систему управления хостом из консоли/через утилитку запросами INSERT INTO etc.passwd (username,password) VALUES ("_KUL", "12345"); это бы админы оценили! p.s. Лучше бы разработчики systemd эту идею развили, меньше врагов имели бы.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	26. "Facebook открыл код системы мониторинга osquery"	+/–
	Сообщение от gred (ok) on 30-Окт-14, 18:50
	> Саму возможность делать WQL с linux чтобы получить инфу с windows тачки, > давно сделали http://www.aldeid.com/wiki/Wmic-linux > Но это же не полноценные рычаги управления системой, это так, только статистику > с нужным колонками получить. Вот если бы сделали полноценную систему управления > хостом из консоли/через утилитку запросами > INSERT INTO etc.passwd (username,password) VALUES ("_KUL", "12345"); > это бы админы оценили! > p.s. Лучше бы разработчики systemd эту идею развили, меньше врагов имели бы. это частично реализует любая scm... (Ansible, Puppet, Chef, cdist) там, конечно не sql, но оно там и не надо
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема