URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 105515
[ Назад ]

Исходное сообщение
"Компания Microsoft открыла код распределённого инструментари..."

Отправлено opennews , 13-Ноя-15 22:30 
Компания Microsoft объявила (http://blogs.technet.com/b/inside_microsoft_research/archive... о переводе в разряд открытых проектов инструментария DMTK (http://www.dmtk.io) (Distributed Machine Learning Toolkit), предназначенного для создания распределённых систем машинного обучения. Система может применяться для решения таких задач, как распознавание естественного языка, классификация документов, компьютерное зрение, распознавание речи и определение смысла текстовой информации.

В состав инструментария входят:


-  Масштабируемый фреймворк машинного обучения, состоящий из хранилища Parameter Server (http://parameterserver.org/), поддерживающего хранение гибридных моделей данных, и клиентского SDK, который можно применять для планирования работ на стороне клиента, организации обучения моделей и поддержания локального кэша моделей, синхронизированного к моделями на Parameter Server.

-  Cистема тематического моделирования (https://ru.wikipedia.org/wiki/%D0%A2%D0%...

-  Реализация распределённых алгоритмов векторного представления слов (https://ru.wikipedia.org/wiki/%D0%92%D0%... (Word2vec и multi-sense), позволяющих применять методы обработки информации на естественном языке.

<center><a href="http://blogs.technet.com/cfs-file.ashx/__key/communityserver... src="https://www.opennet.me/opennews/pics_base/0_1447439204.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>


Разработчикам предоставляется достаточно простой API, предоставляющий средства для обработки данных, построения моделей и организации обучения. Обучение производится с распараллеливанием операций по кластеру из группы серверов с использованием достаточно эффективных алгоритмов. Например, при использовании DMTK кластера из 24 серверов достаточно для классификации документов по  тематической модели, охватывающей миллион тематик и словарь в 20 млн терминов, или для решения задач обработки естественного языка при словаре в 20 млн слов и 1000 тематических векторов, или для обработки коллекции web-документов из  200 миллиардов токенов. Отмечается, что для решения аналогичных задач ранее требовались кластеры из тысяч машин.


Исходные тексты DMTK написаны на языке С++ и опубликованы (https://github.com/Microsoft/DMTK/) под лицензией MIT.  DMTK изначально поддерживает работу в кластерах на базе Linux, используя MPI-интерфейс MPICH (https://www.mpich.org/) (для Windows используется MS-MPI). Готовые бинарные сборки подготовлены (http://www.dmtk.io/download.html) для Windows и Linux (Ubuntu). В качестве шины обмена данными применяется ZeroMQ (http://zeromq.org/).

URL: http://blogs.technet.com/b/inside_microsoft_research/archive...
Новость: http://www.opennet.me/opennews/art.shtml?num=43323


Содержание

Сообщения в этом обсуждении
"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 13-Ноя-15 22:30 
Соревнуются с гуглом?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Зенитарка , 14-Ноя-15 00:00 
Мелкософт проиграл. Теперь сами юзают Linux и OpenSource, т.к. свой софт весьма сомнительного качества, плохо с безопасностью, да и юзабилити не очень.

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено XD , 14-Ноя-15 00:16 
XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки Майкрософт "Хрен знает что туда понапихали" )))

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 00:25 
> XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
> Майкрософт "Хрен знает что туда понапихали" )))

Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?
А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?



"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 02:52 
К сожалению только тогда когда
1. цикл релиза кадого софтинки будет не меньше 2 года
(цикл релиза ядра будет 4 года
сторонних модулей ядра - 2 года)
2. когда все будут нормально зарабтывать деньги
то есть привыкнут чуваки честно нормально расписывать бизнес план
например делаем релиз 1.0 через два года
распространяем софт так-то
зарабатываем на саппорте таким то способом
3. стандартизация и унификация

Прекрасный пример С++ и Java
Как по мне сообщество С++ - позорище которое своим нежеланием договариваться и стандартизировать библиотеки и стиль программирования превратило С++ в язык на котором пишут дрова и прочюю низкоуровневую штуку
Это просто стыдно что потребовалось какое то чмо которое вышло и сказало
у нас тут есть конченый язык под названием джава
но под него есть библиотека.
Все ваши классы будут наследоваться от классов в нашей библиотеке.

И к чему это привело ? Джава - самый популярный язык программирования последние 5 лет.

Какого хрена самим было не сделать подобноее в С++ ?
Был бы прекрасный язык с прекрасными библиотеками.
А сейчас с каждым днем все сложнее найти библиотеку с высокоуровневыми задачами.


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Йода , 16-Ноя-15 01:13 
Наркоман

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним539 , 14-Ноя-15 03:15 
> Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс
> и все программы и сервисы заточены под Линукс?

Ну вы вокруг взгляните: большинство трубок, роутеров, серверов в вебе как раз на Линукс, это Линукс везде, а вы дальше своего носа не видите.


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Тот_Самый_Анонимус , 14-Ноя-15 07:16 
Вопрос был, как я понимаю в том, когда линух завоюет ПК. Винда на роутерах даже самым упорoтым не нужна. И вопрошающий(ая) прав(а): несмотря на кучу плюсов линь пока что куpит в сторонке.

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено анончик , 14-Ноя-15 08:14 
>Трубок

Андроид, как известно, не линукс. Или сделаем исключение?
>Роутеров

В них он настолько кастрирован, что пользоваться им невозможно. Да и без надобности, работает себе и работает.
>Серверов - единтвенное верное применение линуксу.

Так на десктопы когда уже придет? Чтобы хомячки на радостях начали сносить винду и ставить убунту? Сколько еще лет для этого потребуется?


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 08:37 
как только напишут вменяемый DE. За 20 лет не смог никто написать, может еще через 20 лет что-то получится.

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 09:55 
>> Андроид, как известно, не линукс. Или сделаем исключение?

Ядро у него как раз linux, с разморозкой.
p.s. linux - не ОС, а ядро для построения оных. Не надо разводить демагогию.


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 10:47 
И какие плюсы тебе этот линух даст, если будет насквозь зативоизированным?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 04:43 
>> XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
>> Майкрософт "Хрен знает что туда понапихали" )))
> Так когда победите? Когда на моём компе будет Линукс потому, что у
> всех вокруг тоже Линукс и все программы и сервисы заточены под
> Линукс?
> А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев
> дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?

Да не как будет как с darwin и os x


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Анон 1 , 16-Ноя-15 02:00 
>что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?

Что было вначале, все программы и сервисы для мастдая или сам мастдай? Линукс уже есть в наличии и DE не проблема, остальное зависит уже не от него.


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено D , 16-Ноя-15 21:42 
От него зависит стандартизация
1) сроков выпуска ядра, базовых библиотек и виндо манагеров
2) собственно функционала
чтобы были отличия у wm не в названии а собственно в wm
потому что судя по всему происходит какая то фигня
когда разработчики wm почему то пишут софт чего не должно быть
3) интерфейса а также user experience
то что gnome и kde потеряли львиную долю пользователей после 3й версии gnome и 4ой kde
более чем понятно. Пользователь скорее заплатит чем будет разбираться с новым интерфейсом не говоря уже о новом способе хранения конфигов в гноме.
То что у этих двух есть до сих пользователи - это большое недооразумение. Шваль которая приняла подобные решения не имеет права остаться на рынке хоть платного хоть бесплатного софта.

"Майкрофоун"
Отправлено GrammarNarziss , 16-Ноя-15 21:05 
"Микрософт", позорище

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено ыыыыыыыыы , 14-Ноя-15 05:53 
там все изза бабок, ubuntu server развернуть почти так же легко как вин сервер, тогда нах.я платить бабос за вин сервер если есть лучше и бесплатно?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 11:15 
> ubuntu server развернуть почти так же легко как вин сервер

А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Andrey Mitrofanov , 14-Ноя-15 11:19 
>> ubuntu server развернуть почти так же легко как вин сервер
> А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))

Важнее только голограмки блестючие на бумажке с фамилией.


"Компания Microsoft открыла код распределённого инструментари..."
Отправлено pkdr , 16-Ноя-15 09:30 
А как же волшебная вещь, которую хорошо умеет M$ под названием "откат" (ну или bonus для англоговорящих)?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено ага , 14-Ноя-15 11:16 
Майкрософт посмотрел на свои прайсы и вскрикнул "да шли бы они нахрен с такими ценами!"?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 08:33 
как там 1% поживает? уже не 1, а 0.7?

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Аноним , 14-Ноя-15 11:17 
кисло там, доля вин сервер уже 0.5 и продолжает снижаться!

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено CSRedRat , 14-Ноя-15 11:16 
Сатья Наделла учит маму пользоваться генту, т.к. там юзабилити лучше!

"Компания Microsoft открыла код распределённого инструментари..."
Отправлено Andrey Mitrofanov , 14-Ноя-15 11:25 
> Сатья Наделла учит маму

Она умерла вроде? Тема для шуток?

> пользоваться генту, т.к. там юзабилити лучше!