URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 80529
[ Назад ]

Исходное сообщение
"Twitter открыл код системы анализа потоков данных Storm "

Отправлено opennews , 28-Сен-11 23:37 
Cервис Twitter открыл (http://twitter.com/#!/nathanmarz/status/115832469730770944) код проекта Storm (https://github.com/nathanmarz/storm/), предназначенного для анализа больших непрерывно поступающих потоков данных, таких как миллионы лент в Twitter. Продукт был создан компанией BackType, которая была куплена Twitter в июле этого кода. Код открыт под лицензией Eclipse Public Licence 1.0. Система написана на языке Clojure и выполняется внутри виртуальной машины JVM, некоторые скрипты написаны на языке Python.


Система Storm использовалась (http://tech.backtype.com/preview-of-storm-the-hadoop-of-real...) для обеспечения работы сервиса BackTweets (http://backtweets.com/), предназначенного для анализа отражения определенных событий в микроблогах, путем сопоставления на лету новых твитов и используемых в них ссылок. Например, производилась оценка, как внешние ссылки или публикуемые в твиттере анонсы, ретранслируются другими участниками. Несмотря на кажущуюся простоту, для непреры...

URL: http://www.h-online.com/open/news/item/Twitter-open-sources-...
Новость: http://www.opennet.me/opennews/art.shtml?num=31888


Содержание

Сообщения в этом обсуждении
"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 28-Сен-11 23:37 
А картинку с китом тоже выложили в составе этой системы?
А очень уж мне нравится.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено xanten , 29-Сен-11 01:23 
Интересная новость, плюсую.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено XoRe , 29-Сен-11 01:34 
Штука интересная, только насчет сферы применения...
Не всякий проект дорастет до такого, чтобы понадобилась такая система.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено КО , 29-Сен-11 07:48 
Думаю это будет интересно разным стартаперам, которые делают риалтайм системы.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено mator , 29-Сен-11 10:49 
ну и военным судя по-всему полезно будет посмотреть

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено MrClon , 29-Сен-11 13:52 
Штука интересная, но новость боянистая, ещё в начале месяца (если не в прошлом месяце) читал об этом, только не помню где.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Fyjybvecjh , 29-Сен-11 14:31 
Вы где-топропустили новость о закрытии.

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 29-Сен-11 14:34 
> Штука интересная, но новость боянистая, ещё в начале месяца (если не в
> прошлом месяце) читал об этом, только не помню где.

Здесь же и была новость, но только о том, что Twitter планирует открыть код Storm. Сейчас новость о том, что они сдержали обещание и открыли код.


"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Mna , 29-Сен-11 20:31 
Новости тут двойные часто:
как в Multi-tier architecture:
1) обещали сделать тото (Request send)
2) сделали то-то /обещание сдержали (Response received/Answer received)

только вот когда ответа не получилось, по таймауту ничего не происходит, нет новости вида:
3) хотя обещали 3 месяца назад за две недели сделать то-то но не сделали ничего и вообще молчок

А ведь стоило.

И вообще, стоило сделать каклй-то репозитарий-рейтинг заявлений, наподобие кредитного


"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 29-Сен-11 20:54 
согласен
И разработчиком приятно, что не забыты

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 29-Сен-11 20:52 
Twitter как всегда молодцы
http://www.pcworld.com/article/240605/faq_which_social_netwo...

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 30-Сен-11 01:43 
Хорошо бы побольше деталей. А то теория как ты заткнулась на слове "топологий"... Есть хоть кто-то кто понял о чем речь в статье?

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено Аноним , 30-Сен-11 19:33 
ССПТ-2 - это сертифицированное ФСТЭК и ФСБ средство защиты информации нового поколения, реализующее функции межсетевого экрана, но при этом остающееся "невидимым" для любых протоколов и тестовых воздействий, что достигается за счет отсутствия физических и логических адресов на его фильтрующих интерфейсах. ССПТ-2 невозможно

"Twitter открыл код системы анализа потоков данных Storm "
Отправлено FK , 03-Окт-11 13:06 
> ССПТ-2 - это сертифицированное ФСТЭК и ФСБ средство защиты информации нового поколения,
> реализующее функции межсетевого экрана, но при этом остающееся "невидимым" для любых
> протоколов и тестовых воздействий, что достигается за счет отсутствия физических и
> логических адресов на его фильтрующих интерфейсах. ССПТ-2 невозможно

Да ой ли?
Берем Фрю, настраиваем бридж, к нему прикрепляем шифрованный IPSEC-туннель (gif), на другой стороне туннеля - идентичная конфа. Нет IP, по тестовому воздействию определяешь разве что задержку, есть шифрование.
Правда, ФСБ не сертифицировано )