The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Компания Microsoft открыла код распределённого инструментария машинного обучения DMTK

13.11.2015 22:14

Компания Microsoft объявила о переводе в разряд открытых проектов инструментария DMTK (Distributed Machine Learning Toolkit), предназначенного для создания распределённых систем машинного обучения. Система может применяться для решения таких задач, как распознавание естественного языка, классификация документов, компьютерное зрение, распознавание речи и определение смысла текстовой информации.

В состав инструментария входят:

  • Масштабируемый фреймворк машинного обучения, состоящий из хранилища Parameter Server, поддерживающего хранение гибридных моделей данных, и клиентского SDK, который можно применять для планирования работ на стороне клиента, организации обучения моделей и поддержания локального кэша моделей, синхронизированного к моделями на Parameter Server.
  • Cистема тематического моделирования LightLDA;
  • Реализация распределённых алгоритмов векторного представления слов (Word2vec и multi-sense), позволяющих применять методы обработки информации на естественном языке.

Разработчикам предоставляется достаточно простой API, предоставляющий средства для обработки данных, построения моделей и организации обучения. Обучение производится с распараллеливанием операций по кластеру из группы серверов с использованием достаточно эффективных алгоритмов. Например, при использовании DMTK кластера из 24 серверов достаточно для классификации документов по тематической модели, охватывающей миллион тематик и словарь в 20 млн терминов, или для решения задач обработки естественного языка при словаре в 20 млн слов и 1000 тематических векторов, или для обработки коллекции web-документов из 200 миллиардов токенов. Отмечается, что для решения аналогичных задач ранее требовались кластеры из тысяч машин.

Исходные тексты DMTK написаны на языке С++ и опубликованы под лицензией MIT. DMTK изначально поддерживает работу в кластерах на базе Linux, используя MPI-интерфейс MPICH (для Windows используется MS-MPI). Готовые бинарные сборки подготовлены для Windows и Linux (Ubuntu). В качестве шины обмена данными применяется ZeroMQ.

  1. Главная ссылка к новости (http://blogs.technet.com/b/ins...)
  2. OpenNews: Открыт код системы машинного обучения TensorFlow, разработанной командой Google Brain
  3. OpenNews: Релиз библиотеки компьютерного зрения OpenCV 3.0
  4. OpenNews: Представлен Sirius, открытый персональный ассистент, напоминающий Apple Siri и Google Now
  5. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
  6. OpenNews: Компания Cisco открыла OpenSOC, платформу для анализа больших объемов трафика
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/43323-ai
Ключевые слова: ai, modeling, dmtk
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (25) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 22:30, 13/11/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Соревнуются с гуглом?
     
  • 1.6, Зенитарка (?), 00:00, 14/11/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Мелкософт проиграл. Теперь сами юзают Linux и OpenSource, т.к. свой софт весьма сомнительного качества, плохо с безопасностью, да и юзабилити не очень.
     
     
  • 2.9, XD (?), 00:16, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки Майкрософт "Хрен знает что туда понапихали" )))
     
     
  • 3.10, Аноним (-), 00:25, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –5 +/
    > XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
    > Майкрософт "Хрен знает что туда понапихали" )))

    Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?
    А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?


     
     
  • 4.12, Аноним (-), 02:52, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    К сожалению только тогда когда
    1. цикл релиза кадого софтинки будет не меньше 2 года
    (цикл релиза ядра будет 4 года
    сторонних модулей ядра - 2 года)
    2. когда все будут нормально зарабтывать деньги
    то есть привыкнут чуваки честно нормально расписывать бизнес план
    например делаем релиз 1.0 через два года
    распространяем софт так-то
    зарабатываем на саппорте таким то способом
    3. стандартизация и унификация

    Прекрасный пример С++ и Java
    Как по мне сообщество С++ - позорище которое своим нежеланием договариваться и стандартизировать библиотеки и стиль программирования превратило С++ в язык на котором пишут дрова и прочюю низкоуровневую штуку
    Это просто стыдно что потребовалось какое то чмо которое вышло и сказало
    у нас тут есть конченый язык под названием джава
    но под него есть библиотека.
    Все ваши классы будут наследоваться от классов в нашей библиотеке.

    И к чему это привело ? Джава - самый популярный язык программирования последние 5 лет.

    Какого хрена самим было не сделать подобноее в С++ ?
    Был бы прекрасный язык с прекрасными библиотеками.
    А сейчас с каждым днем все сложнее найти библиотеку с высокоуровневыми задачами.

     
     
  • 5.30, Йода (?), 01:13, 16/11/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Наркоман
     
  • 4.13, Аноним539 (ok), 03:15, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс
    > и все программы и сервисы заточены под Линукс?

    Ну вы вокруг взгляните: большинство трубок, роутеров, серверов в вебе как раз на Линукс, это Линукс везде, а вы дальше своего носа не видите.

     
     
  • 5.17, Тот_Самый_Анонимус (?), 07:16, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Вопрос был, как я понимаю в том, когда линух завоюет ПК. Винда на роутерах даже самым упорoтым не нужна. И вопрошающий(ая) прав(а): несмотря на кучу плюсов линь пока что куpит в сторонке.
     
  • 5.18, анончик (?), 08:14, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Трубок

    Андроид, как известно, не линукс. Или сделаем исключение?
    >Роутеров

    В них он настолько кастрирован, что пользоваться им невозможно. Да и без надобности, работает себе и работает.
    >Серверов - единтвенное верное применение линуксу.

    Так на десктопы когда уже придет? Чтобы хомячки на радостях начали сносить винду и ставить убунту? Сколько еще лет для этого потребуется?

     
     
  • 6.20, Аноним (-), 08:37, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    как только напишут вменяемый DE. За 20 лет не смог никто написать, может еще через 20 лет что-то получится.
     
  • 6.21, Аноним (-), 09:55, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Андроид, как известно, не линукс. Или сделаем исключение?

    Ядро у него как раз linux, с разморозкой.
    p.s. linux - не ОС, а ядро для построения оных. Не надо разводить демагогию.

     
     
  • 7.22, Аноним (-), 10:47, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    И какие плюсы тебе этот линух даст, если будет насквозь зативоизированным?
     
  • 4.15, Аноним (-), 04:43, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >> XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
    >> Майкрософт "Хрен знает что туда понапихали" )))
    > Так когда победите? Когда на моём компе будет Линукс потому, что у
    > всех вокруг тоже Линукс и все программы и сервисы заточены под
    > Линукс?
    > А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев
    > дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?

    Да не как будет как с darwin и os x

     
  • 4.31, Анон 1 (?), 02:00, 16/11/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?

    Что было вначале, все программы и сервисы для мастдая или сам мастдай? Линукс уже есть в наличии и DE не проблема, остальное зависит уже не от него.

     
     
  • 5.36, D (?), 21:42, 16/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    От него зависит стандартизация
    1) сроков выпуска ядра, базовых библиотек и виндо манагеров
    2) собственно функционала
    чтобы были отличия у wm не в названии а собственно в wm
    потому что судя по всему происходит какая то фигня
    когда разработчики wm почему то пишут софт чего не должно быть
    3) интерфейса а также user experience
    то что gnome и kde потеряли львиную долю пользователей после 3й версии gnome и 4ой kde
    более чем понятно. Пользователь скорее заплатит чем будет разбираться с новым интерфейсом не говоря уже о новом способе хранения конфигов в гноме.
    То что у этих двух есть до сих пользователи - это большое недооразумение. Шваль которая приняла подобные решения не имеет права остаться на рынке хоть платного хоть бесплатного софта.
     
  • 3.35, GrammarNarziss (?), 21:05, 16/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    "Микрософт", позорище
     
  • 2.16, ыыыыыыыыы (?), 05:53, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    там все изза бабок, ubuntu server развернуть почти так же легко как вин сервер, тогда нах.я платить бабос за вин сервер если есть лучше и бесплатно?
     
     
  • 3.23, Аноним (-), 11:15, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > ubuntu server развернуть почти так же легко как вин сервер

    А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))

     
     
  • 4.27, Andrey Mitrofanov (?), 11:19, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> ubuntu server развернуть почти так же легко как вин сервер
    > А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))

    Важнее только голограмки блестючие на бумажке с фамилией.

     
     
  • 5.33, pkdr (ok), 09:30, 16/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А как же волшебная вещь, которую хорошо умеет M$ под названием "откат" (ну или bonus для англоговорящих)?
     
  • 3.25, ага (?), 11:16, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Майкрософт посмотрел на свои прайсы и вскрикнул "да шли бы они нахрен с такими ценами!"?
     
  • 2.19, Аноним (-), 08:33, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    как там 1% поживает? уже не 1, а 0.7?
     
     
  • 3.26, Аноним (-), 11:17, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    кисло там, доля вин сервер уже 0.5 и продолжает снижаться!
     
  • 2.24, CSRedRat (ok), 11:16, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Сатья Наделла учит маму пользоваться генту, т.к. там юзабилити лучше!
     
     
  • 3.28, Andrey Mitrofanov (?), 11:25, 14/11/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Сатья Наделла учит маму

    Она умерла вроде? Тема для шуток?

    > пользоваться генту, т.к. там юзабилити лучше!

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру