Агентство по перспективным оборонным научно-исследовательским разработкам США (DARPA) выделило (http://www.itworld.com/big-data/340570/python-gets-big-data-...) 3 млн долларов компании Continuum Analytics на участие в разработке средств обработки и визуализации большого объема данных на языке Python. Деньги будут потрачены на разработку новых технологий анализа данных и визуального отображения больших многомерных наборов данных. Разработка расширит текущие возможности активно используемых в научном сообществе Python-библиотек NumPy (http://www.numpy.org/) и SciPy (http://www.scipy.org/), адаптировав их для работы в распределённых системах. Денежный грант выделен в рамках четырёхлетней программы XData (http://www.darpa.mil/Our_Work/I2O/Programs/XDATA.aspx), общий размер финансирования в которой составит 100 млн долларов.

URL: http://www.itworld.com/big-data/340570/python-gets-big-data-...
Новость: http://www.opennet.me/opennews/art.shtml?num=36042

• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 18:51 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Z, 19:24 , 06-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 18:55 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Andrew Kolchoogin, 19:03 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 19:38 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Andrew Kolchoogin, 22:13 , 06-Фев-13
        • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 22:38 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,bircoph, 19:51 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,dxd, 20:20 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Andrew Kolchoogin, 22:04 , 06-Фев-13
        • Агентство DARPA выделило 3 млн долларов на развитие средств ...,tipa_admin, 09:14 , 07-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,t28, 11:49 , 11-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Z, 19:26 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 22:12 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,t28, 11:58 , 11-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 18:59 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Andrew Kolchoogin, 19:02 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 19:31 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Andrew Kolchoogin, 22:10 , 06-Фев-13
        • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 22:42 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 22:12 , 06-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,3draven, 19:04 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,all_glory_to_the_hypnotoad, 21:14 , 06-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 19:33 , 06-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 19:59 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноным, 20:15 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Аноним, 22:13 , 06-Фев-13
      • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Имя, 23:29 , 06-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,V, 20:23 , 06-Фев-13
    • Агентство DARPA выделило 3 млн долларов на развитие средств ...,t28, 12:06 , 11-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,lemanyk, 22:56 , 06-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Ёк, 17:48 , 07-Фев-13
  • Агентство DARPA выделило 3 млн долларов на развитие средств ...,Led, 00:31 , 09-Фев-13
• Агентство DARPA выделило 3 млн долларов на развитие средств ...,Anonim, 22:07 , 08-Фев-13

Рад за Python, но хотелось бы, чтобы R, и J, тоже так поддерживались.

Они уже внутри его http://rpy.sourceforge.net/

Я знаю шикарное средство для обработки больших массивов данных на питоне - переписать обработку на С. Где я могу получить свои 3 миллиона?

> Я знаю шикарное средство для обработки больших массивов данных на питоне -
> переписать обработку на С. Где я могу получить свои 3 миллиона?

Я знаю шикарное средство для прочищения мозгов анонимным аналитикам -- попросить их переписать BLAS с Фортрана на C.

конвертеры фортрана в с уже отменили?

> конвертеры фортрана в с уже отменили?

Конвертеров с Фортрана в C и не существовало никогда.

Были попытки создать конвертеры -- но все они фэйлили, когда встречались с большими COMMON-блоками. И, кроме всего прочего, оптимизатор Фортрана-77 работает лучше оптимизатора C, так как язык беднее конструкциями (хотя и оба они -- полные по Тьюрингу).

http://en.wikipedia.org/wiki/F2c

Был еще другой - я перекомпилировал из фортрана в с, не блас конечно, но и невозможность сильно преувеличена. Не делают потому что смысла мало, а не потому что невозможно.

Давно переписан, причём реализаций много:

http://www.netlib.org/blas/
http://math-atlas.sourceforge.net/
http://www.gnu.org/software/gsl/  (да, там тоже есть)
http://developer.intel.com/software/products/mkl/

Это я только на вскидку привёл. И да, они рвут по производительности фортрановский blas, особенно mkl.

только MKL с фортраном работает немножко лучше, чем с сями. Векторизация всё-таки

> http://www.netlib.org/blas/

То ли я английский позабыл, то ли:

file    blas.tgz
for    Fortran77 reference implementation of the LEVEL 1, 2, and 3
,    BLAS routines in all precisions

cblas -- это C _interface_ to BLAS. C'шные биндинги к фортрановскому коду.

> http://math-atlas.sourceforge.net/

Опять-таки, что-то, видать, у меня с английским не то. :)

At present, it provides C and Fortran77 interfaces to a portably efficient BLAS implementation

BLAS -- на Фортране, см. выше.

> http://www.gnu.org/software/gsl/

Ой, чойта и Интернет у меня какой-то странный... Error 404 говорит на этот URL :)

А вот исходников MKL у меня под рукой нет. API там C и Fortran, на чём написано -- не знаю.

Интернет, по-видимому, у тебя на тот момент действительно странный был :-). У меня ссылка открылась.
Зато какая интересная инфа представлена в разделе "Related Packages":
"GSL requires a BLAS library for vector and matrix operations. The default CBLAS library supplied with GSL can be replaced by the tuned ATLAS library for better performance,"
Так шта без Фортрана - никак.

> переписать BLAS с Фортрана на C.

Зачем на C? Путь сразу на петон переписывают.

> Я знаю шикарное средство для обработки больших массивов данных на питоне -
> переписать обработку на С. Где я могу получить свои 3 миллиона?

Я знаю шикарное средство обработки анонимов -- заставить написать их аналог на Си.
Как напишешь 3 миллиона покажутся мелочью.

> Я знаю шикарное средство обработки анонимов -- заставить написать их аналог на Си.

За три ляма думается это даже не фантастика. Странные парни в дарпе - хотят экономить на быдлокодерах путем спуска бабла в унитаз :)

> Странные парни в дарпе
> - хотят экономить на быдлокодерах путем спуска бабла в унитаз :)

Да... Дарпа уже не та...

Поправьте меня, если я ошибаюсь, но разве ядра NumPy и SciPy не на C/C++ написаны?

Нет. NumPy использует BLAS/ATLAS, это код на Фортране.

Какие-то функции numpy/scipy используют библиотеки BLAS, но в общем numpy это расширение к питону на С

> но в общем numpy это расширение к питону на С

Не зависящее от внешних библиотек?-)

Я вроде ясно написал что оно использует и другие библиотеки, но использовать библиотеку на фортране для ряда функций и быть написанным на фортране это сильно две большие разницы. Кстати нумпи использует привязку на С к бласу, написанную тем самым конвертером, отсутствие которого вы чуть выше утверждаете

> на С

Вот вам и ответ куда лучше всего спускать 3 ляма.

Визуальное отображение больших многомерных массивов данных....эммммм уж не сетевую активность ли с соц. сетями они решили "визуализировать"? Спохватились по серьезному аднака.

это не их профиль. И называется это не 'многомерные массивы'

Это шикарная новость, а не мини-новость.

Почему не джабаскрипт?O_o

Там скобки

> Там скобки

Да, конечно, логика сформированная отступами лучше. Пара бэкспейсов - и вы ломаете голову полдня - почему же на вид все ок, а работает криво.

Послушай совета, обезьянка.

Код должен быть ОК сам по себе, а не на вид.

Вы не поверите

http://www.youtube.com/watch?v=kXEgk1Hdze0

> Вы не поверите
> http://www.youtube.com/watch?v=kXEgk1Hdze0

А есть то же, но про петон?

js и ruby модные, но не у всех же гемы вместо мозгов

еще про openblas забыли в холиваре.

говорят на многоядерных эффективней blas будет.

хотя на старых пк (у меня в универе атлон2000) старобу доброму blas никто в подметки не годится :)

> еще про openblas забыли в холиваре.

openblas - это бывший коммерческий gotoblas, который выбросили на помойку, когда стал не нужен? Да, при жизни ATLAS он уделывал, хотя и уступал немного MKL. И, кстати, он полностью на ассемблере был написан (чтобы там не говорили местные "специалисты" про "без фортрана - никак").

Насобирали персональных данных, а обработать не могут? Беда...