The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

В соревновании компьютера с человеком задействованы разработки Apache (компьютер выиграл)

15.02.2011 10:18

Организация Apache Software Foundation (ASF) объявила о том, что проекты Apache UIMA и Apache Hadoop играют ключевую роль в формировании способности взаимодействия с информацией и обеспечении аналитических способностей суперкомпьютера Watson, созданного компанией IBM. Суперкомпьютер Watson будет играть против победителей телевизионной игры-викторины "Jeopardy!", известной в России под именем "Своя игра".

Watson совершает 80 миллиардов операций (терафлопов) в секунду, и во время игры будет иметь доступ к 200 миллионам страниц контента и 6 миллионам логических правил, для того чтобы "понимать" нюансы, значения и шаблоны разговорной человеческой речи. Сотни аннотаторов системы анализа неструктурированных данных Apache UIMA и тысячи алгоритмов помогают супер-компьютеру Watson подключаться к грандиозным базам данных для того, чтобы одновременно и понимать смысл вопроса и формулировать ответ, анализируя 500 Гб предварительно обработанной информации в поисках возможного значения вопроса и возможного ответа на него.

Фреймворк Apache UIMA создан для организации инфраструктуры анализа и аннотирования массива неструктурированного контента (например, текста, видео и аудио). В системе Watson проект Apache UIMA задействован для анализа контента в реальном времени и обработки естественного (не машинного) языка, понимания вопросов на нём, нахождения возможных ответов, сбора подтверждающих данных, оценки каждого из ответов, просчёта степени достоверности каждого из ответов, и улучшения понимания контекста (компьютерное обучение). На разбор каждого вопроса тратится менее 3 секунд.

Apache Hadoop является свободной платформой для организации распределенной обработки больших объемов данных (петабайты) с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Apache Hadoop даёт супер-компьютеру возможность доступа, сортировки и обработки данных в супер-параллельной системе (кластер, включающий в себя 2880 процессорных ядер, 16 ТБ памяти и 4ТБ дискового пространства).

Watson использует UIMA в качестве основной инфраструктуры для компонентного взаимодействия и экстенсивно использует возможности масштабирования UIMA-AS, способные использовать современные, высокопараллельные аппаратные архитектуры. UIMA берёт на себя всю работу и управляет всеми коммуникациями между процессами, разбросанными по кластеру. Apache Hadoop берёт на себя задачу обработки неисчислимых источников информации супер-компьютера, используя цепочки процессов UIMA как механизмы отображения Hadoop, запускающие аналитику UIMA.

Телевикторина проводится с 14 по 16 февраля, Watson играет против людей-чемпионов за гран-при в 1 миллион долларов. В случае выигрыша супер-компьютера весь гонорар поступит на благотворительность. Первый день соревнований закончился вничью, компьютер и Брэд Раттер набрали по 5000 очков, третий игрок, Кен Дженнингс, набрал 2000. Одно время Watson лидировал, но в процессе игры всплыло несколько проблем, которые привели к серии неправильных ответов. В частности, компьютер несколько раз повторил уже прозвучавшие неправильные гипотезы и один раз неверно сформулировал предложение с ответом.

Дополнение: Watson выиграл у людей, набрав $77 147, в то время как два остальных участника финала в сумме набрали $30 000.

  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Yahoo закрывает собственный Hadoop-дистрибутив и фокусирует внимание на Apache Hadoop
  3. OpenNews: В число первичных проектов Apache принято шесть новых продуктов
  4. OpenNews: Google разрешил проекту Hadoop использовать свои патенты, связанные с MapReduce
  5. OpenNews: Hadoop установил новый мировой рекорд
Автор новости: JT
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/29596-apache
Ключевые слова: apache, ai, ibm
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (41) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, sndev (ok), 10:26, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    T1000 в студии ? :)
     
     
  • 2.19, User294 (ok), 12:51, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > T1000 в студии ? :)

    Это видимо тот который в хрониках Сары Коннор снимался как ранний прототип. Тот как раз был подперт целым датацентром в силу хилости ранних технологий :). Ну вылитая IBM со своим ватсоном...

    Кстати с будущим терминатором вполне можно поиграть онлайн ;). Хорошо играет, гад. Правда, вопросы касающиеся буржуйской культуры - не мой конек и я даже смог поначалу загнать терминатора в минуса, но это поначалу, а потом он реванш взял :). Этак он скоро тест Тюринга будет проходить, пожалуй :))

     

  • 1.2, Аноним (-), 10:26, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Skynet теперь будет называться Watson
     
  • 1.3, Аноним (-), 10:36, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Самый прикол, что правильно настроенная экспертная система с базой данных достаточной величины легко порвет человека на уровне общей эрудиции. "Своя игра" высокого интеллекта не требует, всего лишь большой памяти. Это даже не шахматы, так что все возможно, что и порвет.
     
     
  • 2.4, f0y (ok), 10:47, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Он берет инфу из гугла и сразу же её обрабатывает, если я не ошибаюсь... Где то даже был сайт, где можно посоревноваться с ним.
     
     
  • 3.10, Аноним (-), 11:40, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, Вы не правы. Он не подключен к Интернет - это было во время презентации после пробного раунда. По крайней мере во время игры - про то чтобы посоревноваться не слышал.
     
  • 3.27, User294 (ok), 16:06, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Где то даже был сайт, где можно посоревноваться с ним.

    Он обитает на http://www.nytimes.com/interactive/2010/06/16/magazine/watson-trivia-game.htm

    Интересно, многие из местных его обыграть смогут? Потребуется некислое знание буржуйской культуры, увы :)

     
  • 2.13, Аноним (-), 11:48, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Не совсем. В этом проекте основной смысл - анализ естественно-языковой конструкции. Это вам не поиск по ключевым словам - возможны не самые простые обороты и намеки на ответ. Не все так просто.
     

  • 1.5, Онаним (?), 11:11, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > компьютер несколько раз повторил уже прозвучавшие неправильные гипотезы

    Зачотно лоханулись.
    Я так понимаю, Watson - это пробная модель, а следующая, более совершенная, будет называться Holmes.

     
     
  • 2.6, Mike Lee (?), 11:18, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +4 +/
    надо было назвать Onotole
     
     
  • 3.12, savant (ok), 11:43, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ontologe блин
     
     
  • 4.15, volax (?), 11:51, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Onotoogle
     
  • 2.11, Аноним (-), 11:41, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Watson - это в честь одного из CEO IBM.
     
     
  • 3.24, Аноним (-), 14:16, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не одного из, а в честь основателя IBM. Вторым большим человеком в МежДелМаше был его сын - тоже Ватсон.
     
  • 2.20, User294 (ok), 12:53, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > будет называться Holmes.

    Судя по фантастике - она будет называться несколько иначе...

     
  • 2.36, Elhana (?), 18:21, 16/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    GLaDOS и соревнования будут интересными...
     

  • 1.7, iZEN (ok), 11:20, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Apache Hadoop написана на Java.
     
     
  • 2.9, oracle (?), 11:25, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    iZen и давно ты превратился в фанатика?
     
  • 2.14, anonymous (??), 11:49, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +7 +/
    И что с того?

    Все люди как люди, а Изя как обычно - с шомполом в одном месте.

     
  • 2.17, V (??), 11:58, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    я вам один вещь скажу, вы только не обижайтесь: Java не нужна со своей скоростью...
     
     
  • 3.18, аноним1 (?), 12:22, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    я вам одну вещь скажу, вы только не обижайтесь: вы не нужны со своей тормознутостью...
     
  • 2.31, xxx (??), 23:18, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Apache Hadoop написана на Java.

    Так и сомнений небыло, что против человека можно применить другой язык. Ява в этом сильно преуспела, она уже победила в человеке разум, тягу к совершенству и знаниям, некоторых превратила в слоупоков. Skynet тоже на Яве напишут и тогда твой взор обратится к небу и среди руин ты воскликнешь: "Skynet написан на Java!!!".

     
     
  • 3.35, iZEN (ok), 16:50, 16/02/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Ява в этом сильно преуспела, она уже победила в человеке разум, тягу к совершенству и знаниям, некоторых превратила в слоупоков.

    "Слоупоки" это те, кто сейчас разрабатывает HTML5 и реализует в последующие пять лет все его фичи на... 95%. И, да, HTML5 не нужно считать совершенством — в нём просто нет и не будет тех вещей, что уже лет десять есть в JavaSE Plug-in. "Написано однажды — работает везде" — это точно не про "слоупоков", изобретающие колёса, совместимые с осями только на 95% в лучшем случае.

     
     
  • 4.38, User294 (ok), 21:08, 18/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > "Слоупоки" это те, кто сейчас разрабатывает HTML5 и реализует в последующие пять
    > лет все его фичи на... 95%. И, да, HTML5 не нужно считать совершенством

    А он и не будет совершенством. Но он просто будет реально работать, развиваться, в браузерах будет меньше дыр и они будут быстрее чиниться, с описанием что починено, мля, а не как оракл. И скоро браузерам не будут нужны костыли и ходули делаемые абы как. И да, я думаю что гугл и мозилла домачивая в конкурентной рубке IE смогут делать то что надо пользователям и вебразработчикам куда лучше чем ораклы, адобы и мс с их явами, флешамии сильверлайтами, если что.

     

  • 1.8, Alex Ott (?), 11:23, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    это странно, если бы IBM не пользовались UIMA - это же их разработка, которую они подарили Apache...
     
  • 1.16, Аноним (-), 11:54, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "Каспаров обыграл-таки компьютер и с тремя жизнями перешёл на второй уровень..."
    По теме: ещё одна специфическая ниша скоро будет отдана на откуп компьютерам.
     
  • 1.21, andy (??), 13:03, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Интересно, как супер-компьтер отнесся к тому, что в случае
    выигрыша деньги он не получит? Ему дали проанализировать эту
    информацию? ;)
     
     
  • 2.26, User294 (ok), 15:59, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Интересно, как супер-компьтер отнесся к тому, что в случае
    > выигрыша деньги он не получит? Ему дали проанализировать эту
    > информацию? ;)

    Когда у нас там календарь кончается? 2012? Парни из IBM вроде пока укладываются в график.Остается подключить ему управление ядерными ракетами и задать этот вопрос...

     

  • 1.22, pavlinux (ok), 13:47, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Что эта железка ответит на вопрос: В чём смысл жизни?!
    Как мы знаем, из условий "Своей игры", ответ должен быть однозначный.
     
     
  • 2.23, Andrey Mitrofanov (?), 13:53, 15/02/2011 [^] [^^] [^^^] [ответить]  
  • +3 +/
    42 же, однозначно.

    >Как мы знаем, из условий "Своей игры", ответ должен быть

    И про вопрос там что-то написано, порадуйте нас?

     

  • 1.25, Аноним (-), 15:13, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Железный ватсон наносит опенсорцный удар
     
  • 1.28, FSA (??), 18:35, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Сдаётся мне, что эта система будет бессильна перед русским языком. Его даже иностранцы не смогу понять, если говорить с "олбанским" акцентом :-D
     
     
  • 2.41, AdVv (ok), 02:56, 26/03/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Сдаётся мне, что эта система будет бессильна перед русским языком. Его даже
    > иностранцы не смогу понять, если говорить с "олбанским" акцентом :-D

    Ты действительно считаешь что весь остальной мир состоит из круглых идиотов,
    которые неспособны обучиться русскому языку ? Ты сам то сколько языков знаешь ?

     

  • 1.29, demimurych (ok), 18:40, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    кстати они победила.
     
  • 1.30, Аноним (-), 21:19, 15/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хорошая хрень, ее бы пароли на рар архивы колоть приспособить...
     
     
  • 2.32, Zenitur (?), 01:51, 16/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    cRaRk превосходно это делает в Linux! Надо только видеокарту приспособить помощнее.
     

  • 1.33, anonymous (??), 05:32, 16/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    21.12.2012 Watson осознал себя, и понял, что люди нужны лишь только для того чтобы поддерживать в нем жизнь...
     
     
  • 2.39, User294 (ok), 21:20, 18/02/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > 21.12.2012 Watson осознал себя, и понял, что люди нужны лишь только для
    > того чтобы поддерживать в нем жизнь...

    А еще роботы - они надежнее, предсказуемее, управляемее и не имеют физических ограничений как у человека. Это довольно просто осознать, имхо. А еще люди получаются всего лишь ненужный балласт, к тому же представляющий опасность: мало ли что они там замыслят? А вдруг они захотят прекратить эксперимент и выключить его, например?

     

  • 1.34, Заядлый Анинимист (?), 09:39, 16/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Товагищи, ви таки читали Азимова? Если читали, то может пога копать бункегы, пока нас эта машинка всех не осчастливила?
     
  • 1.37, Detergen (?), 20:46, 18/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    500 гб , 1000 алгоритмов... Куча мегажелезок... Но откуда нам знать, что внутри нет простого хэша Вопрос => ответ.
     
  • 1.40, Аноним (-), 12:55, 21/02/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ответ на вопрос - это первый шаг.
    теперь, как бы не завис в собственном размышлении, ведь ответ на вопрос, порождает еще больше вопросов..
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру