https://www.opennet.ru/openforum/vsluhforumID3/119373.html Представлен выпуск утилиты для организации поиска данных в текстовых файлах - GNU Grep 3.4. В новой версии добавлена опция "--no-ignore-case", отключающая действие настроек отмены учёта регистра символов (-i, --ignore-case). Исключено попадание под маску "." некорректных последовательностей UTF-8. При выполнении "grep -Fw" решены проблемы с ложным сопоставлением данных в многобайтовых локалях, отличных от UTF-8. Устранены провалы в производительности при обработке большого числа шаблонов без обратных ссылок, а также шаблонов вида '01.2', приводящих к выполнению внутренней пересортировки токенов...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52128<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#87 Mon, 06 Jan 2020 06:22:17 GMT не успеюют - быстрее сделают grepd<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#86 Sun, 05 Jan 2020 13:28:19 GMT Что есть ГНУ? Хорошую вещь ГНУ не назовут. <br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#85 Sun, 05 Jan 2020 08:46:03 GMT &gt; переодически<br><br>Период, а не переод.<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#84 Sat, 04 Jan 2020 20:23:28 GMT &gt; В UTF-8 в теории символ может до 6 байт весить, это сильно <br>&gt; лучше или как?<br><br>Очень в теории, текущий лимит 4 байта из соображений совместимости. И всяко лучше utf-16. [1] %)<br><br>По-моему, на практике 4 довольно редко встречалось и только в китайских текстах. Но это совершенно не важно, случайный доступ с юникодом просто не применяют.<br><br>[1] https://en.wikipedia.org/wiki/Plane_(Unicode)<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#83 Sat, 04 Jan 2020 20:08:36 GMT В UTF-8 в теории символ может до 6 байт весить, это сильно лучше или как?<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#80 Fri, 03 Jan 2020 22:52:34 GMT &gt; rg (без кэшей, упал?), 1мб памяти в пике плюс 5.5 shared <br><br>Чего-чего, но падений я еще не видел.<br><br>&gt; Вон я же дал датасет приближенный к реальным данным, почему не используете <br>&gt; его? http://ftp.freedb.org/pub/freedb/freedb-complete-20191203.tar.bz2 <br><br>Наверное, потому что не влезет в tmpfs, да и качаться будет минут 10?<br><br>&gt; Ну и стоит всё же использовать hdd, на ssd вы много данных не разместите.<br><br>Это мне в ящике стола ковыряться, хард искать, подключать &#8230; да и какой смысл измерять скорость чтения с диска, в который все и упрется (если оно не поместится в кэше).<br><br>&gt;&gt;дебаг-билд <br>&gt; нет <br><br>Но билд, судя по паникам - кривоват.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#79 Fri, 03 Jan 2020 22:36:11 GMT &gt; Удивительно правда, что у здешнего анонима _все_ оказалось антипаттерном, да еще и c разницей на порядки.<br><br>Вот потому я и не хотел играть в эти идиотские чиселки. Всегда можно подобрать удобное окружение и подходящие данные, для которых чиселки какие надо получатся. Для такого инструмента как grep, в конечном счете все определяет только личная статистика использования на повседневных задачах. Моя такова, что на моих задачах и на моих машинах rg выигрывает.<br><br>Но раз уж я влез в эту глупость, все-таки проверил grep и ag:<br><br>&gt; time grep -P '(\[.*?\]+).*test' test.log &#124; wc -l<br><br>6302<br><br>real9m2.752s<br>user9m2.289s<br>sys0m0.080s<br><br>&gt; time ag '(\[.*?\]+).*test' test.log &#124; wc -l<br><br>6302<br><br>real8m34.161s<br>user8m33.436s<br>sys0m0.100s<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#78 Fri, 03 Jan 2020 22:34:49 GMT 1 файл это не спортивно. Лично мне нравится руст, но не нравится результат где примитивная утилита сливает в 20 раз на типичном юзкейсе.<br> https://www.opennet.ru/openforum/vsluhforumID3/119373.html#77 Fri, 03 Jan 2020 22:19:17 GMT &gt; Я зарекался чиселки кидать, но ладно. Нашел рандомные логи http://www.almhuette-raith.at/apache-log/access.log <br>&gt; (906M) <br><br>(В)брошу свои чиселки:<br><br>&gt;&gt; time rg '(\[.*?\]+)' access.log &#124; wc -l <br>&gt; 4595960 <br>&gt; real 0m1.306s <br>&gt; user 0m1.206s <br>&gt; sys 0m0.577s <br>&gt;&gt; time grep -P '(\[.*?\]+)' access.log &#124; wc -l <br>&gt; 4595960 <br>&gt; real 0m2.329s <br>&gt; user 0m2.101s <br>&gt; sys 0m0.949s <br><br>с tmpfs, лучший результат 4 запусков<br>[code]<br>% time rg -c '(\[.*?\]+)' access.log <br>4596036<br>rg -c '(\[.*?\]+)' access.log 1,46s user 0,17s system 99% cpu 1,632 tota<br><br>% time rg -c -j1 '(\[.*?\]+)' access.log <br>4596036<br>rg -c -j1 '(\[.*?\]+)' access.log 1,46s user 0,15s system 99% cpu 1,607 total<br>time /usr/local/bin/grep -cP '(\[.*?\]+)' access.log <br>4596036<br><br>/usr/local/bin/grep -cP '(\[.*?\]+)' access.log 3,53s user 0,28s system 99% cpu 3,813 total<br>[/code]<br><br>&gt; Ни для grep, ни для ag я результата дождаться не смог. Не <br>&gt; знаю, с чем это связано (скорее всего с этим: https://mariusschulz.com/blog/why-using-the-greedy-