Twitter опубликовал (https://blog.twitter.com/2015/introducing-practical-and-robu...) новый открытый проект AnomalyDetection (https://github.com/twitter/AnomalyDetection), представляющий собой пакет на языке R для автоматического выявления аномалий в статистических наборах данных. Поддерживается определение различных типов аномалий: локальные и глобальные отклонения, положительные (например, всплески трафика) и отрицательные (например, снижение числа запросов) изменения. Код опубликован под лицензией GPLv3.<center><a href="https://g.twimg.com/blog/blog/image/figure_localglobal_anoma... src="http://www.opennet.me/opennews/pics_base/0_1420571938.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://g.twimg.com/blog/blog/image/figure_raw_residual_glob... src="http://www.opennet.me/opennews/pics_base/0_1420571892.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
Например, пакет позволяет выявить отклонения от нормы в потоке информации, поступающей от системы мониторинга или от различных сенсоров, в том числе можно фиксировать активность, связанную с деятельностью ботов и спамеров, или оценивать изменения параметров работы после перехода на новую версию ПО. Кроме того, пакет можно использовать для отслеживания заслуживающих внимания изменений метрик в различных областях, связанных с изучением событий в экономике и политике, например, определять события, вызывающие особый резонанс в обсуждениях и прессе.
<center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="http://www.opennet.me/opennews/pics_base/0_1420571824.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="http://www.opennet.me/opennews/pics_base/0_1420571861.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
URL: https://blog.twitter.com/2015/introducing-practical-and-robu...
Новость: http://www.opennet.me/opennews/art.shtml?num=41405
Ипать, Твытыр научит нас считать первые и вторые производные!
Да ещё и код открыли, щедрость просто не измерима!
Градиенты . Скоро под GPLv3 !
Ну давай, посчитай производные от шума.
> Ну давай, посчитай производные от шума.Какие у шума бывают аномалии?
Скачки характеристик спектральной плотности?
> Скачки характеристик спектральной плотности?Вот, мы и посчитаем первую и вторую производную от этих скачков.
Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно можно функцию "условно получить", если знать магию матана, но это гораздо более сложная задача, чем посчитать производную.
> Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно
> можно функцию "условно получить", если знать магию матана, но это гораздо
> более сложная задача, чем посчитать производную.(y2 - y1)/(x2 - x1)
Йа бохЪ матана.
> (y2 - y1)/(x2 - x1)
> Йа бохЪ матана.А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо при каждой итерации? Да, бывает. МарьВанна тебя предупреждала.
>> (y2 - y1)/(x2 - x1)
>> Йа бохЪ матана.
> А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо
> при каждой итерации? Да, бывает. МарьВанна тебя предупреждала.Там где скачет, там и будет ономалия. Йа КОъ.
МарьВанна, тебя же на пенсию проводили. Вяжи носки правнукам.
> Там где скачет, там и будет ономалия. Йа КОъ.1. Не всегда.
2. Не только.
>> Там где скачет, там и будет ономалия. Йа КОъ.
> 1. Не всегда.
> 2. Не только.Я принцип гражданину анониму показал. Дальше man 7 matan.
>> Ну давай, посчитай производные от шума.
> Какие у шума бывают аномалии?Производные хорошо работают только на гладких функциях, а реальные данные почти всегда обильно смазаны шумом. Из-за этого без предварительной регуляризации нет смысла считать производные — после первой же шум забьёт полезный сигнал начисто.
> Производные хорошо работают только на гладких функцияхПреобразование Фурье, не, не слышал?
(но опять же нах..я, когда полиномами 4-степени быстрее, ну или ваще куб. спалйн)
А что не так?
Товарищ не понимает разницы между "понимать принцип в общих чертах" и "написать рабочий код, применимый для решения практических задач".
да он даже принцип не понимает.
Вроде как, напрашивается вопрос: а от чего производные считать будем? Есть какая-то дифференцируемая функция?
Задача "немного" сложней, чем с первого раза кажется.
Ну, там не вторые производные.
https://github.com/twitter/AnomalyDetection/blob/master/R/de...
основанный на
http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3...Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму и определения выхода за него.
Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования её.
> Ну, там не вторые производные.
> https://github.com/twitter/AnomalyDetection/blob/master/R/de...
> основанный на
> http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3...
> Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму
> и определения выхода за него.
> Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования
> её.То есть это ещё элементарнее.
может быть этот код позволяет различать локальные/глобальные экстремумы?
> Ипать, Твытыр научит нас считать первые и вторые производные!думаешь, с твоим уровнем образования и понимания темы эти уроки будут полезными?
Критерии Граббса, Диксона, Титьена-Мура и т.д., что-ли, освоили? Аномалии, блин. А шуму-то подняли.
Это конец. :D
