URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 90283
[ Назад ]

Исходное сообщение
"В рамках проекта CUDA grep обеспечено использование GPU для ..."

Отправлено opennews , 02-Июн-13 23:37 
http://bkase.github.io/CUDA-grep/finalreport.html Представлен вариант утилиты Grep и связанной с ним реализации регулярных выражений,  отличающихся задействованием CUDA для распараллеливания операций и их выноса на плечи GPU. В зависимости от особенностей обрабатываемых данных CUDA grep демонстрирует в 2-10 раз более высокую производительность по сравнению с обычным grep. По сравнению с движком регулярных выражений Perl ускорение достигает 68 раз. Код утилиты и библиотеки регулярных выражений распространяется (https://github.com/bkase/CUDA-grep) под лицензией MIT.


URL: Пhttps://news.ycombinator.com/item?id=5803943
Новость: http://www.opennet.me/opennews/art.shtml?num=37076


Содержание

Сообщения в этом обсуждении
"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Владимир Z , 02-Июн-13 23:37 
Ага еще бы CUDA была под лицензией MIT и поддерживалась разными вендорами без отчислений или разрешений.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 00:22 
Пардон, те кто выбирает MIT/BSD/Apache очень любят стелиться под тех кто выбирает EULA.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Куяврик , 03-Июн-13 01:53 
а вот те, кто бред подобный пишут почему-то не любят лечиться

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Tav , 03-Июн-13 15:00 
Почему бред? Выбор пермиссив лицензии часто аргументируют прагматичностью и дружественностью бизнесу.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:00 
> Почему бред? Выбор пермиссив лицензии часто аргументируют прагматичностью и дружественностью бизнесу.

Дружественность к бизнесу - недружественность к пользователям, и наоборот.
Интересы пользователей и бизнеса конфликтуют, и разработчик имеет полное право выбрать, кому кого он помогает озалупить.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:03 
> дружественностью бизнесу.

Дружественность к блобмэйкеру означает что те кто в это вляпывался - залетают на вендорлок. Такой пермиссивный весь из себя...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено YetAnotherOnanym , 04-Июн-13 01:15 
Если автор выкатывает лицензию, которая позволяет использовать его результаты в закрытых продуктах - с чего тут возникает вендорлок?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:38 
> Если автор выкатывает лицензию, которая позволяет использовать его результаты в закрытых
> продуктах - с чего тут возникает вендорлок?

С проприетарного вендора, вестимо.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:02 
> а вот те, кто бред подобный пишут почему-то не любят лечиться

Тем не менее, факты - штука упрямая.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено metaldoctor , 02-Июн-13 23:39 
Хотеть!!!
Я хочу видяху с акселлерацией перла. Наконец-то появилась причина покупки новой видеокарты!

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 02-Июн-13 23:45 
Наконец то появится отмазка для покупки крутой видеокарты

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:57 
> Наконец то появится отмазка для покупки крутой видеокарты

А что, биткоины не катят?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено metaldoctor , 04-Июн-13 01:44 
Нафиг биткоины, хочу ГРЕП!!!!! И много-много перла

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено YetAnotherOnanym , 03-Июн-13 00:04 
Перл там только для сравнения, и, кстати, ничего не сказано о том, какой именно скрипт выполнялся при замере производительности, включают ли полученные 0.8 секунды время на компиляцию скрипта. Как-то странно читать, что перл в 30 раз медленнее простого грепа.
Кстати, да, ожидаем малолетних аналитеков, предрекающих скорый "перлукапец".

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено angra , 03-Июн-13 04:04 
> Как-то странно читать, что перл в 30 раз медленнее простого грепа.

Не то слово. Простейший тест
$ time grep -c '"[0-9]\+"' some.csv
20952

real    0m0.764s
user    0m0.759s
sys    0m0.006s

time perl -ne '$i++ if /"[0-9]+"/;END {print "$i\n"}' some.csv
20952

real    0m0.085s
user     0m0.079s
sys    0m0.006s

Так что не в 30, а в 10 и не медленнее, а быстрее.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Xaionaro , 03-Июн-13 09:07 
Измерять нужно на намного больших временах. И вывод нужно перенаправить в /dev/stdout для чистоты эксперимента.

Попробуйте some.csv увеличить раз в 100 для начала.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено angra , 03-Июн-13 18:36 
>Измерять нужно на намного больших временах
>Попробуйте some.csv увеличить раз в 100 для начала.

Это просто сделает преимущество в скорости запуска grep по сравнению с perl еще более ничтожным. Хотя оно и так небольшое 0.002 против 0.003 на моей машине.
Я просто взял первый попавшийся под руку большой файл. Хотите провести более детальное исследование - флаг вам в руки, а мне это не интересно, так как результат заранее известен и быстрее perl в 10 или в 9 раз мне не особо важно. Особенно с учетом того, что perl предоставляет намного более удобные регексы и большие возможности.
Также подскажу, что если вам хочется получить нужные вам результаты, то лучше экспериментировать не с размерами файла, а с самими регексами.


>И вывод нужно перенаправить в /dev/stdout для чистоты эксперимента.

Во-первых, stdout это и есть стандартный вывод. Если не знаете значения умных слов, то не надо ими пользоваться.
Во-вторых, вы предлагаете вместо скорости регексов измерять скорость вывода perl/grep и скорость отображения строк в эмуляторе терминала. Вы дурак или прикидываетесь им?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Khariton , 03-Июн-13 21:02 
файл new.csv 2.5мб

time grep -c '"[0-9]\+"' new.csv
0

real    0m0.764s
user    0m0.752s
sys     0m0.000s

time grep -Pc '"[0-9]\+"' new.csv
0

real    0m0.096s
user    0m0.092s
sys     0m0.000s


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено rain87 , 03-Июн-13 12:26 
не хочу тебя огорчать, но в твоём примере перл "быстрее", потому что some.csv закешировался в памяти после первого обращения к нему грепом

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:58 
> не хочу тебя огорчать, но в твоём примере перл "быстрее", потому что
> some.csv закешировался в памяти после первого обращения к нему грепом

Можно запустить в обратном порядке - перл все равно будет быстрее. Это такое опережающее кэширование, да?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено rain87 , 03-Июн-13 17:14 
вообще да, поторопился я, извиняюсь

rain87@rain87-laptop:/tmp/csv$ time grep -c '"[0-9]\+"' cbp11co.txt
2151507

real    0m7.095s
user    0m7.052s
sys    0m0.036s
rain87@rain87-laptop:/tmp/csv$ time perl -ne '$i++ if /"[0-9]+"/;END {print "$i\n"}' cbp11co.txt
2151507

real    0m1.183s
user    0m1.152s
sys    0m0.032s
rain87@rain87-laptop:/tmp/csv$ ls -lh cbp11co.txt
-rw-r--r-- 1 rain87 rain87 173M марта 11 15:12 cbp11co.txt

перл всегда быстрее, в каком порядке ни запускай + фс в памяти, так что никакое кеширование не влияет


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 03-Июн-13 00:23 
> Я хочу видяху с акселлерацией перла.

http://nvidia.com/


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Карбофос , 03-Июн-13 00:50 
а вижуал-васик поддерживает? o_O

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AnonuS , 03-Июн-13 01:27 
Пока просто васик, но проект очень быстро развивается.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:59 
> Пока просто васик, но проект очень быстро развивается.

А как насчет паскаля?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено anonymous , 03-Июн-13 19:01 
не, сначала Lisp, наработки уже есть

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 10:53 
Чернила для пятого класса, глобус Украины и видеокарту с ускорением Перла.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Нанобот , 04-Июн-13 09:46 
даёшь видяху с аппаратным ускорением пэхопэ!

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено amorphine , 02-Июн-13 23:51 
Как перепаять слот для процессора в pci-e?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Карбофос , 03-Июн-13 00:46 
это кувалдой нужно

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 00:52 
> это кувалдой нужно

Да ладно, у интеля есть Xeon Phi или как там его. Как вы и хотели - добавочный проц в PCI-E. Правда сдается мне что цена/производительность там явно не как у ширпотребного GPU...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 05-Июн-13 21:17 
от 1400 usd

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено imprtat , 03-Июн-13 00:18 
Следующим на очереди будет хардварный греп?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 00:39 
> Следующим на очереди будет хардварный греп?

Ну а что, запилят FPGA версию и потом ASIC :)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 00:55 
Слудующим этапом, это когда в свойствай процессора будет mmx,mmx4,grep =)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Cuernud , 03-Июн-13 17:20 
> Слудующим этапом, это когда в свойствай процессора будет mmx,mmx4,grep =)

Только не grep, а pcre.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Michael Shigorin , 03-Июн-13 17:27 
>> Слудующим этапом, это когда в свойствай процессора будет mmx,mmx4,grep =)
> Только не grep, а pcre.

Представил:

$ grep pcre /proc/cpuinfo
-- и круг замкнулся...

:)


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено arisu , 03-Июн-13 16:09 
> Следующим на очереди будет хардварный греп?

ну, межделмаш же делала хардварный акселератор для парзинга xml. так что уже не новаторство.


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено Аноним , 04-Июн-13 01:07 
> ну, межделмаш же делала хардварный акселератор для парзинга xml. так что уже
> не новаторство.

Ну да, сначала можно усложнить себе задачу, выбрав идиoтский формат, а потом пытаться изобрести бритву для своего кактуса.

Вон OSMщики например возлюбили бинарные форматы. Потому что 250Гбайт XML - это жосска. Это требует адово время на парсинг, жрет уйму места на винте и почему-то никак не редактируется ширпотребными редакторами :)


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено Vkni , 04-Июн-13 06:41 
> Вон OSMщики например возлюбили бинарные форматы. Потому что 250Гбайт XML - это
> жосска. Это требует адово время на парсинг, жрет уйму места на
> винте и почему-то никак не редактируется ширпотребными редакторами :)

В бинарном формате нет ничего плохого, если к нему имеется достаточное кол-во отлаженных инструментов. В конце-концов, банальный .txt файл тоже на определенном уровне абсолютно бинарен, просто для его чтения и редактирования есть тысячи программ.

А к systemd'шникам претензия одна - они формат сделают, а потом его изменят, наплевав на окружающих. И пойдете вы с бинарными логами Солнцем палимый прямо на ЙУХ.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 03-Июн-13 16:25 
Хардварный grep (с)

cmp rax, rbx


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Andrey Mitrofanov , 03-Июн-13 20:28 
> Следующим на очереди будет хардварный греп?

Учёные В Гугле лет десять тому сделали _параллельный  grep, который быстрее _кеша_ любого _современного_ процессора.

Мечтайте дальше!


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Xasd , 03-Июн-13 00:56 
> Код утилиты и библиотеки регулярных выражений распространяется под лицензией MIT.

что за такая мода -- делать скрипты под свободной лцензией, но при этом которые требуют несвободные инструменты (в данном случае CUDA)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 03-Июн-13 16:28 
>> Код утилиты и библиотеки регулярных выражений распространяется под лицензией MIT.
> что за такая мода -- делать скрипты под свободной лцензией, но при
> этом которые требуют несвободные инструменты (в данном случае CUDA)

Скрипты - это кухня для софта! (Я)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:03 
> Скрипты - это кухня для софта! (Я)

В смысле, скрипты используются для сборки нормального ПО?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 03-Июн-13 18:35 
Это в смысле берешь
50 гр. ls
25 гр. cat
40 гр. grep
100 гр. sed
100 гр. awk
заправляешь printf, column, sort и uniq по вкусу.
для эстетов можно приготовить с dialog или screen

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 19:15 
У нас таким свинок кормят.

А для человеческой пищи как-то больше идут функции из libc.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 04-Июн-13 00:55 
> У нас таким свинок кормят.
> А для человеческой пищи как-то больше идут функции из libc.

Гурманы, ёптя. Вы под каждый случай перепиcываете свой софт на glibc?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:27 
Если думать перед тем, как писать - такой проблемы не будет.
Или думать - это тоже гурманство?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено еще один аноним , 04-Июн-13 09:30 
Не ошибается только тот, кто ничего не делает. Человеку свойственно ошибаться, абсолютный вы наш...

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 04-Июн-13 18:40 
> Если думать перед тем, как писать - такой проблемы не будет.
> Или думать - это тоже гурманство?

Сколько у Вас уйдет время на приготовление, например перла и, хотя бы 1% того, что есть на CPAN?


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено arisu , 05-Июн-13 05:25 
>> У нас таким свинок кормят.
>> А для человеческой пищи как-то больше идут функции из libc.
> Гурманы, ёптя. Вы под каждый случай перепиcываете свой софт на glibc?

нет, он вообще никакой софт не пишет. потому что вантуз черепа.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:11 
> Это в смысле берешь
> 50 гр. ls
> 25 гр. cat
> 40 гр. grep
> 100 гр. sed
> 100 гр. awk
> заправляешь printf, column, sort и uniq по вкусу.
> для эстетов можно приготовить с dialog или screen

И получаешь более 300 гр какой-то буиты :)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено vle , 04-Июн-13 00:19 
это дает тебе возможность переписать скрипты под другие
инструменты, например, свободные. Почему нет, собственно?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено ананим , 04-Июн-13 09:57 
а тем временем emerge =dev-util/nvidia-cuda-toolkit-5.5.11
    "NVIDIA doesn't provide direct download links yet. If you're a"
    "registered developer, then please download ${ARCHIVE} from"
    "https://developer.nvidia.com/rdp/cuda-55-release-candidate-i...

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено pavlinux , 04-Июн-13 18:50 
> а тем временем emerge =dev-util/nvidia-cuda-toolkit-5.5.11
>  "NVIDIA doesn't provide direct download links yet. If you're a"
>  "registered developer, then please download ${ARCHIVE} from"
>  "https://developer.nvidia.com/rdp/cuda-55-release-candidate-i...

http://developer.download.nvidia.com/assets/cuda/secure/CUDA...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 01:03 
PCRE ./configure ... --with-jit

http://sljit.sourceforge.net/pcre.html


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 01:05 
http://nginx.org/ru/docs/ngx_core_module.html#pcre_jit

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено inferrna , 03-Июн-13 05:51 
Пока что это дорого и бессмысленно. Гонять данные в память видеокарты и обратно только для того, чтобы сравнить одно целое с другим целым, это есть немного смешно. С другой стороны, выбор CUDA как бы намекает, что жирафы в плане вычислений ни на что другое не годятся.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Evgueni , 03-Июн-13 07:18 
Наконец-то что-то полезное для повседневной жизни стали производить. Жаль, что не OpenCL. Главное, чтобы не нашлось редиски, которая занялась бы патентованием подобных алгоритмов.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AlexAT , 03-Июн-13 07:21 
Перенос таких вещей на матричные процессоры имеет только один смысл: когда надо одновременно посчитать сотни и тысячи таких грепов по разным блокам данных. В остальных случаях - баловство и мазохизм. Судя по "бенчам" - именно этим и занимаются.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 10:56 
Ну, в общем, СУБД заняты примерно подсчетом сотен и тысяч грепов как раз.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AlexAT , 03-Июн-13 12:41 
> Ну, в общем, СУБД заняты примерно подсчетом сотен и тысяч грепов как
> раз.

СУБД заняты не грепом, а поиском в индексах. В основном. Это на видео передать можно, но эффект вряд ли будет большим, с учетом разнородности запросов. Хотя - СУБД СУБД рознь.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:52 
> Ну, в общем, СУБД заняты примерно подсчетом сотен и тысяч грепов как раз.

Если СУБД занимается грепами - бить надо архитектора базы, жестоко и беспощадно.
grep/regexp - это костыль, заменяющий SQL в тех ситуациях, когда информация не структурирована (т.е. представлена не в виде таблиц с типизированными полями, а в виде текстовой каши). Как и положено костылю, он практически во всех отношениях проигрывает нормальному решению - и по скорости, и по надежности, и по гибкости, и по прозрачности. Но иногда выбора просто нет.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено vle , 04-Июн-13 00:40 
> Перенос таких вещей на матричные процессоры имеет только один смысл: когда надо
> одновременно посчитать сотни и тысячи таких грепов по разным блокам данных.
> В остальных случаях - баловство и мазохизм.

Нет. В случае использования NFA для регулярного выражения,
распараллеливание может иметь смысл, особенно если
автомат вмещается во внутриблочную память, она маленькая,
но быстрая.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AlexAT , 04-Июн-13 07:17 
> Нет. В случае использования NFA для регулярного выражения,
> распараллеливание может иметь смысл, особенно если
> автомат вмещается во внутриблочную память, она маленькая,
> но быстрая.

Повторюсь - баловство и мазохизм. Вариантов применения также вижу только один: считать простенький греп по десятку гигов данных. Но за это можно руки отрывать сразу, за кривую организацию системы.

Может пригодиться в массовом параллельном обсчете грепов, например, для реалтаймовой фильтрации контента (DPI) - но это относится к моему посту выше - когда надо посчитать параллельно тысячу грепов :)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено vle , 04-Июн-13 13:02 
>> Нет. В случае использования NFA для регулярного выражения,
>> распараллеливание может иметь смысл, особенно если
>> автомат вмещается во внутриблочную память, она маленькая,
>> но быстрая.
> Повторюсь - баловство и мазохизм. Вариантов применения также вижу только один: считать
> простенький греп по десятку гигов данных.
> Но за это можно руки
> отрывать сразу, за кривую организацию системы.

Не надо этого фанатизма. Вполне типичная задача
для тех, кто занимается обработкой текста. С помощью банального
grep-like поиска можно найти то, что потом обрабатывается более детально.
Спроси у Яндекса, зачем они писали свой PIRE, у них другой пример.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AlexAT , 04-Июн-13 21:45 
> Спроси у Яндекса, зачем они писали свой PIRE, у них другой пример.

А теперь подумай - яндексу надо обрабатывать один многогигабайтный блок, или огромную пачку небольших.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Vkni , 03-Июн-13 08:35 
Объясните пожалуйста, как можно сравнивать скорость "cuda-grepa" и "обычного grepa", когда они выполняются на разных устройствах - CPU и GPU? Обычно ведь две сравниваемые программы выполняются на одном и том же устройстве.

Тут, казалось бы, какую пару CPU/GPU возьмешь, так и будет.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Sergey722 , 03-Июн-13 09:34 
>как можно сравнивать скорость "cuda-grepa" и "обычного grepa"

Запускаешь "cuda-grep", засекаешь время.
Запускаешь "обычный grep", засекаешь время.
Сравниваешь.
>когда они выполняются на разных устройствах

Вы правы, это осложняет сравнение, но не означает, что оно вовсе не возможно.
И может быть любым, начиная от "круто, мои терабайтные логи парсятся всего за полгода!" и заканчивая какими-то более менее объективными показателями типа "цена устройства/компа"*"время работы".


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Vkni , 03-Июн-13 09:37 
> Запускаешь "cuda-grep", засекаешь время. Запускаешь "обычный grep", засекаешь время. Сравниваешь.

А смысл такого сравнения? У кого-то ведь топовая NVidia, а у кого-то - 5-ти летней давности. В то же время, процессоры примерно одинаковы.


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено arisu , 03-Июн-13 16:11 
> В то же время, процессоры примерно одинаковы.

у меня — пятилетней давности, например.


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено Vkni , 03-Июн-13 17:56 
У меня тоже - T9500, его индекс производительности (Windows) - 6.2. В общем, не жалуюсь. :-)

И я не думаю, что grep на нем гоняется сильно медленнее, чем на мобильном i3.


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено Аноним , 04-Июн-13 01:14 
Ну как бы греп бывает нужен и для того чтобы спарсить 20 Гб логов. Правда, по нормальному такой лог лучше писать в индексированную базу, но...

"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено Vkni , 04-Июн-13 06:37 
> Ну как бы греп бывает нужен и для того чтобы спарсить 20
> Гб логов. Правда, по нормальному такой лог лучше писать в индексированную
> базу, но...

Если у вас столько логов, то либо вы некоторое время ждете на машинке типа моей, либо у вас десктоп (это примерно 4 раза производительности по сравнению с моей машинкой). А переход с одного мобильного ЦП на другой мобильный столько не даст.



"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:32 
забавляют подобные "анализы": для рекламы выбирают подходящий тест и проводят его на разных устройствах, которые или несравнимы ни по стоимости, ни по теоретической мощи

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:36 
> забавляют подобные "анализы": для рекламы выбирают подходящий тест и проводят его на
> разных устройствах, которые или несравнимы ни по стоимости, ни по теоретической
> мощи

А потом публикуют его на форониксе.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 09:04 
Скоро так всё СПО переедет в видеокарту.
Будет работать там и показывать фигу микромягким.
:)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 10:07 
Да вы упоролись. Видеокарты НЕ предназначены для задач общего назначения (посмотрел бы, как бы вы писали в файл непосредственно с GPU). Поэтому на всём, что не может сильно параллелиться (тысячи потоков хотя бы) и не является вычислениями, они сливают процессорам по полной.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено 80е , 03-Июн-13 10:11 
> Да вы упоролись. Видеокарты НЕ предназначены для задач общего назначения (посмотрел бы,
> как бы вы писали в файл непосредственно с GPU). Поэтому на
> всём, что не может сильно параллелиться (тысячи потоков хотя бы) и
> не является вычислениями, они сливают процессорам по полной.

TESLA предназначена.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:54 
>> Да вы упоролись. Видеокарты НЕ предназначены для задач общего назначения
> TESLA предназначена.

Нет.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:33 
> TESLA предназначена.

о! ещё один альтернативно-мыслящий отметился


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:17 
> TESLA предназначена.

Ага, ЩАЗ. У видеркарт очень слабое управление flow control. Поэтому они хороши только для того что массово и более-менее линейно молотит впараллель большой поток данных. Ну то-есть похоже на обработку сцены в графическом пайплайне, для чего оно изначально создавалось. Это наследие вполне заметно до сих пор. Оно молотит большие объемы данных, но быстрый разворот в другую сторону там не предусмотрен. Так что как general purpose или управляющий процессор - видеокарта вообще ни о чем. Вот как скоростной акселератор дополняющий системный проц - это да.


Хотя интель вон сделал Xeon Phi, но это как бы и не видеокарта особо, а просто относительно параллелящийся акселератор, достаточно самодостаточный для того чтобы забутявить на себе отдельную копию пингвина.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 10:12 
Упоролись не мы, а те упыри, которые любят придавать оборудованию несвойственные ему функции. :)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено www2 , 03-Июн-13 18:28 
Да ладно, процессоры общего назначения тоже не предназначены много для чего, но в них всё равно напихали всяких mmx, 3dnow, sse, sse2, sse3, sse4 и т.п. Потом героически сражаются с тем, как эти макроинструкции странслировать в микрокод, который будет обрабатывать RISC-ядро, по возможности задействуя все свои компоненты, могущие работать параллельно.

Много однотипных и повторяющихся операций, даже если каждая из них на графической карте выполняется менее эффективно, чем на процессоре общего назначения, всё равно могут выигрывать просто за счёт количества параллельно обрабатываемых данных.

Обработка звука со всякими фильтрами и преобразованиями Фурье, какой-нибудь табличный процессор, греп по тексту, перебор паролей в поисках подходящего хэша, что-нибудь-ещё-придумайте-сами...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:26 
> все свои компоненты, могущие работать параллельно.

Уточним, там скорее группа RISC-подобных выполняющих элементов, так что это чем-то смахивае на "VLIW + декодер". Собственно, амд не зря в новых видеокартах впихал перед VLIW-образным процом некий планировщик команд и прочая - так оно стало "немного более general purpose", амд даже и не скрывали этой цели.

И, кстати, для таких блоков выполнения SSE и тому подобные - как дом родной. Они скорее всего достаточно близки к нативному внутреннему представлению как раз. В отличие от традиционной для х86 модели регистров и команд, которые без транслятора и хаков с register renaming, особым кэшированием стека [который постоянно насилуют т.к. у x86 полтора регистра на все] и прочая - x86 команды сами по себе вообще на такую структуру блоков выполнения не заточены. Там как раз да, костылей втыкают немеряно, чтобы это хотя-бы неявно распихивалось на блоки выполнения. Первейший из костылей - декодер, маскирующий от програмера все это :)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Kodir , 03-Июн-13 12:53 
Допустим в каких-то задачах multi-core-grep и имеет смысл, но на типичной машине админа локалхоста стоит один-два харда, скорость работы с которыми достаточна для однопоточного grep'а. Если распараллеливать греп, то и данные тоже нужно подавать на оба! И вот тут встаёт вопрос о диске - понравится ли ему прыгать головками туды-сюды?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 13:26 
Для таких вещей я бы использовал Сопроцессор от Intel под названием Xeon Phi (Knights Corner)

http://www.intel.com/content/www/us/en/processors/xeon/xeon-...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:27 
> Для таких вещей я бы использовал Сопроцессор от Intel

Сдается мне, что видеокарты элементарно дешевле.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 14:03 
Вообще по дурацки все ето смотрится,
аппаратные ускорители отнюдь не новинка.

Для универсальности нужно просто на материнки добавить fpga, а в ось софт для взаимодействия заливки прошивки итд...
Надо будет работать архиватором надо кодеком ну или grep
постепенно наберется архив прошивок и в софте появится поддержка...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:28 
> Для универсальности нужно просто на материнки добавить fpga, а в ось софт
> для взаимодействия заливки прошивки итд...

Ну вот GPU чем-то таким и оказались - параллельная числокрушилка с возможностью вливать в нее код.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Led , 03-Июн-13 15:02 
Всё логично: CPU, FPU, а теперь ещё и GPU (grep processor unit). Ждём SPU (для sed) и другие xPU.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:47 
Чем только люди не страдают, лишь бы нормально архитектуру не продумывать.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:58 
бред, регулярки ресурсоемкие

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:01 
> бред, регулярки ресурсоемкие

При правильной архитектуре регулярки не нужны. Максимум strcmp.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:42 
>> бред, регулярки ресурсоемкие
> При правильной архитектуре регулярки не нужны. Максимум strcmp.

ты про if ?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:49 
Про реализацию логики работы с данными вообще.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 19:14 
Вот вот, но тут этого не понимают, тут любят гнобить systemd за бинарные логи.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 19:19 
> Вот вот, но тут этого не понимают, тут любят гнобить systemd за бинарные логи.

Да что systemd! Даже обычные текстовые логи бинарной файловой системе, и без драйвера ФС их не достать (особенно с учетом того, что именно логи с их частой ротацией очень подвержены фрагментации).

Нужно срочно создать юниксвейную файловую систему, в которой все структуры данных описаны в виде текста - и таблица размещения файлов (более сложные структуры, типа деревьев, блоатварны и юникс-противны), и журнал транзакций. Вот тогда заживем!


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 19:22 
> Нужно срочно создать юниксвейную файловую систему, в которой все структуры данных описаны
> в виде текста - и таблица размещения файлов (более сложные структуры,
> типа деревьев, блоатварны и юникс-противны), и журнал транзакций. Вот тогда заживем!

Разумеется, драйвер такой ФС должен быть написан на bash, с использованием grep, sed и awk.
В результате получим максимальную прозрачность, и возможность отлаживать работу ФС без перекомпиляции ядра (которой не могут дать современные блобы).


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено AlexAT , 03-Июн-13 19:45 
Поздно, дотнет уже изобрели :)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 20:09 
Но юниксвейную ФС пока не создали. Так что еще не поздно.

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Led , 04-Июн-13 01:11 
> Но юниксвейную ФС пока не создали. Так что еще не поздно.

man fuse


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:31 
>> Но юниксвейную ФС пока не создали. Так что еще не поздно.
> man fuse

В юзерспейсе - не спортивно. Надо, чтобы в ядре. И само ядро на bash, разумеется. Только тогда получится настоящий юникс.
А не как сейчас - блоб на блобе сидит и блобом погоняет, прозрачности никакой.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Пингвино , 03-Июн-13 20:12 
Админы будут ссать кипятком от счастья!

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 20:22 
А виндyзятники и прочие поттерингофилы - корчиться в муках!

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 19:45 
> Вот вот, но тут этого не понимают, тут любят гнобить systemd за бинарные логи.

Тогда надо и все основные СУБД запретить, за злостное надругательство над unix-way.

Нормальная юниксовая СУБД должна хранить все данные _только_ в текстовых файлах, и использовать regexpы вместо виндyзятнического SQL.


"В рамках проекта CUDA grep обеспечено использование GPU..."
Отправлено arisu , 05-Июн-13 05:27 
> бред, регулярки ресурсоемкие

а не надо бэктрекерные использовать.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 15:55 
О, так скоро и скриптовые языки ускорят :)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 15:57 
А вообще, пока на открытых драйверах работать не будет - вывод очевиден "Не нужно"

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 16:57 
> О, так скоро и скриптовые языки ускорят :)

На редкость бессмысленное занятие. Для скриптовых языков скорость не играет никакой роли.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:29 
> О, так скоро и скриптовые языки ускорят :)

Не, конечно можно сначала создать себе проблемы а потом героически с ними воевать. Но это называется донкихотством...


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:34 
> Не, конечно можно сначала создать себе проблемы а потом героически с ними
> воевать. Но это называется донкихотством...

Это называется unix way.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:12 
Крайне показательный пример того факта, что узкозаточенные технологии, типа обработки на GPU сложно хоть как-то задействовать за пределами их основной области применения.

Развитие IT уперлось в тупик кремниевой технологии. Для дальнейшего развития нужно либо менять технологию производства электроники, либо саму концепцию программирования.


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Michael Shigorin , 03-Июн-13 17:34 
> Развитие IT уперлось в тупик кремниевой технологии. Для дальнейшего развития нужно либо
> менять технологию производства электроники, либо саму концепцию программирования.

http://ftp.linux.kiev.ua/pub/conference/peers/pereslavl/2013...
http://ftp.linux.kiev.ua/pub/conference/peers/pereslavl/2013... (с. 12--14)


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено nagual , 03-Июн-13 23:26 
>> Развитие IT уперлось в тупик кремниевой технологии. Для дальнейшего развития нужно либо
>> менять технологию производства электроники, либо саму концепцию программирования.
> http://ftp.linux.kiev.ua/pub/conference/peers/pereslavl/2013...
> http://ftp.linux.kiev.ua/pub/conference/peers/pereslavl/2013...
> (с. 12--14)

Чудо которое они рекламируют в свободно доступе есть или можно переносить в раздел "спам" ?


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено vle , 04-Июн-13 00:48 
> http://ftp.linux.kiev.ua/pub/conference/peers/pereslavl/2013... с. 12--14)

бла-бла-бла


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 17:21 
странно что не в 10 раз медленнее

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 18:32 
> странно что не в 10 раз медленнее

задержка по идее должна расти, верю если много регулярок слать то быстрее
но не атомарно быстрее
Latency PCI


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Клим , 03-Июн-13 17:28 
теперь греп без иксов работать не будет?

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Vkni , 03-Июн-13 17:58 
> теперь греп без иксов работать не будет?

Без Wayland и systemd!!!


"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 03-Июн-13 18:29 
Ничего страшного, Марк защитит свободу пользователей, и выпустит версию grep, привязанную к истинно свободным Unity, Mir и Upstart, а не к насильственно пропихнутым редхатоподелкам!

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:31 
Довольно тонко :)

"В рамках проекта CUDA grep обеспечено использование GPU для ..."
Отправлено Аноним , 04-Июн-13 01:32 
> Довольно тонко :)

Космонавт всегда был тонким ценителем свободы.