The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Агентство DARPA выделило 3 млн долларов на развитие средств обработки больших массивов данных на языке Python

06.02.2013 18:41

Агентство по перспективным оборонным научно-исследовательским разработкам США (DARPA) выделило 3 млн долларов компании Continuum Analytics на разработку средств обработки и визуализации большого объема данных на языке Python. Деньги будут потрачены на разработку новых технологий анализа данных и визуального отображения больших многомерных наборов данных. Денежный грант выделен в рамках четырёхлетней программы XData, общий размер финансирования в которой составит 100 млн долларов.

Разработка расширит текущие возможности активно используемых в научном сообществе Python-библиотек NumPy и SciPy, адаптировав их возможности для работы в распределённых системах. В частности, планируется продолжить разработку Blaze, варианта NumPy для распределённых систем, Python-компилятора Numba и библиотеки визуализации Bokeh.

  1. Главная ссылка к новости (http://www.itworld.com/big-dat...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/36042-python
Ключевые слова: python, bigdata
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (34) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 18:51, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Рад за Python, но хотелось бы, чтобы R, и J, тоже так поддерживались.
     
     
  • 2.8, Z (??), 19:24, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они уже внутри его http://rpy.sourceforge.net/
     

  • 1.2, Аноним (-), 18:55, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Я знаю шикарное средство для обработки больших массивов данных на питоне - переписать обработку на С. Где я могу получить свои 3 миллиона?
     
     
  • 2.5, Andrew Kolchoogin (?), 19:03, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Я знаю шикарное средство для обработки больших массивов данных на питоне -
    > переписать обработку на С. Где я могу получить свои 3 миллиона?

    Я знаю шикарное средство для прочищения мозгов анонимным аналитикам -- попросить их переписать BLAS с Фортрана на C.

     
     
  • 3.13, Аноним (-), 19:38, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    конвертеры фортрана в с уже отменили?
     
     
  • 4.28, Andrew Kolchoogin (?), 22:13, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > конвертеры фортрана в с уже отменили?

    Конвертеров с Фортрана в C и не существовало никогда.

    Были попытки создать конвертеры -- но все они фэйлили, когда встречались с большими COMMON-блоками. И, кроме всего прочего, оптимизатор Фортрана-77 работает лучше оптимизатора C, так как язык беднее конструкциями (хотя и оба они -- полные по Тьюрингу).

     
     
  • 5.29, Аноним (-), 22:38, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    http://en.wikipedia.org/wiki/F2c

    Был еще другой - я перекомпилировал из фортрана в с, не блас конечно, но и невозможность сильно преувеличена. Не делают потому что смысла мало, а не потому что невозможно.

     
  • 3.17, bircoph (ok), 19:51, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Давно переписан, причём реализаций много:

    http://www.netlib.org/blas/
    http://math-atlas.sourceforge.net/
    http://www.gnu.org/software/gsl/  (да, там тоже есть)
    http://developer.intel.com/software/products/mkl/

    Это я только на вскидку привёл. И да, они рвут по производительности фортрановский blas, особенно mkl.

     
     
  • 4.20, dxd (?), 20:20, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    только MKL с фортраном работает немножко лучше, чем с сями. Векторизация всё-таки
     
  • 4.23, Andrew Kolchoogin (?), 22:04, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > http://www.netlib.org/blas/

    То ли я английский позабыл, то ли:

    file blas.tgz
    for Fortran77 reference implementation of the LEVEL 1, 2, and 3
    , BLAS routines in all precisions

    cblas -- это C _interface_ to BLAS. C'шные биндинги к фортрановскому коду.

    > http://math-atlas.sourceforge.net/

    Опять-таки, что-то, видать, у меня с английским не то. :)

    At present, it provides C and Fortran77 interfaces to a portably efficient BLAS implementation

    BLAS -- на Фортране, см. выше.

    > http://www.gnu.org/software/gsl/

    Ой, чойта и Интернет у меня какой-то странный... Error 404 говорит на этот URL :)

    А вот исходников MKL у меня под рукой нет. API там C и Fortran, на чём написано -- не знаю.

     
     
  • 5.33, tipa_admin (?), 09:14, 07/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Интернет, по-видимому, у тебя на тот момент действительно странный был :-). У меня ссылка открылась.
    Зато какая интересная инфа представлена в разделе "Related Packages":
    "GSL requires a BLAS library for vector and matrix operations. The default CBLAS library supplied with GSL can be replaced by the tuned ATLAS library for better performance,"
    Так шта без Фортрана - никак.
     
  • 3.37, t28 (?), 11:49, 11/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > переписать BLAS с Фортрана на C.

    Зачем на C? Путь сразу на петон переписывают.

     
  • 2.9, Z (??), 19:26, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > Я знаю шикарное средство для обработки больших массивов данных на питоне -
    > переписать обработку на С. Где я могу получить свои 3 миллиона?

    Я знаю шикарное средство обработки анонимов -- заставить написать их аналог на Си.
    Как напишешь 3 миллиона покажутся мелочью.

     
     
  • 3.25, Аноним (-), 22:12, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Я знаю шикарное средство обработки анонимов -- заставить написать их аналог на Си.

    За три ляма думается это даже не фантастика. Странные парни в дарпе - хотят экономить на быдлокодерах путем спуска бабла в унитаз :)


     
     
  • 4.38, t28 (?), 11:58, 11/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Странные парни в дарпе
    > - хотят экономить на быдлокодерах путем спуска бабла в унитаз :)

    Да... Дарпа уже не та...

     

  • 1.3, Аноним (-), 18:59, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Поправьте меня, если я ошибаюсь, но разве ядра NumPy и SciPy не на C/C++ написаны?
     
     
  • 2.4, Andrew Kolchoogin (?), 19:02, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Нет. NumPy использует BLAS/ATLAS, это код на Фортране.
     
     
  • 3.11, Аноним (-), 19:31, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Какие-то функции numpy/scipy используют библиотеки BLAS, но в общем numpy это расширение к питону на С
     
     
  • 4.24, Andrew Kolchoogin (?), 22:10, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > но в общем numpy это расширение к питону на С

    Не зависящее от внешних библиотек?-)

     
     
  • 5.30, Аноним (-), 22:42, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я вроде ясно написал что оно использует и другие библиотеки, но использовать библиотеку на фортране для ряда функций и быть написанным на фортране это сильно две большие разницы. Кстати нумпи использует привязку на С к бласу, написанную тем самым конвертером, отсутствие которого вы чуть выше утверждаете

     
  • 4.26, Аноним (-), 22:12, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > на С

    Вот вам и ответ куда лучше всего спускать 3 ляма.

     

  • 1.6, 3draven (?), 19:04, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Визуальное отображение больших многомерных массивов данных....эммммм уж не сетевую активность ли с соц. сетями они решили "визуализировать"? Спохватились по серьезному аднака.
     
     
  • 2.22, all_glory_to_the_hypnotoad (ok), 21:14, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    это не их профиль. И называется это не 'многомерные массивы'
     

  • 1.12, Аноним (-), 19:33, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это шикарная новость, а не мини-новость.
     
  • 1.18, Аноним (-), 19:59, 06/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Почему не джабаскрипт?O_o
     
     
  • 2.19, Аноным (ok), 20:15, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Там скобки
     
     
  • 3.27, Аноним (-), 22:13, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Там скобки

    Да, конечно, логика сформированная отступами лучше. Пара бэкспейсов - и вы ломаете голову полдня - почему же на вид все ок, а работает криво.

     
     
  • 4.32, Имя (?), 23:29, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Послушай совета, обезьянка.

    Код должен быть ОК сам по себе, а не на вид.

     
  • 2.21, V (??), 20:23, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Вы не поверите

    http://www.youtube.com/watch?v=kXEgk1Hdze0

     
     
  • 3.39, t28 (?), 12:06, 11/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Вы не поверите
    > http://www.youtube.com/watch?v=kXEgk1Hdze0

    А есть то же, но про петон?

     
  • 2.31, lemanyk (ok), 22:56, 06/02/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    js и ruby модные, но не у всех же гемы вместо мозгов
     

  • 1.34, Ёк (?), 17:48, 07/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    еще про openblas забыли в холиваре.

    говорят на многоядерных эффективней blas будет.

    хотя на старых пк (у меня в универе атлон2000) старобу доброму blas никто в подметки не годится :)

     
     
  • 2.36, Led (ok), 00:31, 09/02/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > еще про openblas забыли в холиваре.

    openblas - это бывший коммерческий gotoblas, который выбросили на помойку, когда стал не нужен? Да, при жизни ATLAS он уделывал, хотя и уступал немного MKL. И, кстати, он полностью на ассемблере был написан (чтобы там не говорили местные "специалисты" про "без фортрана - никак").

     

  • 1.35, Anonim (??), 22:07, 08/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Насобирали персональных данных, а обработать не могут? Беда...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру