https://www.opennet.ru/openforum/vsluhforumID15/4553.html Здравствуйте!<br><br>У меня такая задача возникла. Есть файл текстовый, в UTF-8. <br>И я хочу из него вывести произвольный кусок текста. Т.е. если в файле N символов (не байт!), я хочу получить функцию substr(txt, K, M), где K&lt;M&lt;=N<br><br>Всё это хочу сделать в консоли. Пробовал cut, он естественно не работает, т.к. cut -cK-M конечно считаем байтами. А у меня utf-8.<br><br>Есть ли возможность получить результат как cut но для символов, а не байт?<br>Желательно не внешними утилитами а из стандартного набора.<br><br>Спасибо!<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#10 Sat, 07 Dec 2019 17:44:38 GMT &gt;[оверквотинг удален]<br>&gt; user$ cat ~/text.utf8 <br>&gt; 1234абвгд <br>&gt; user$ cut -c5-7 ~/text.utf8 <br>&gt; абв <br>&gt; jail# cut -c5-7 /root/text.utf8 <br>&gt; а&#65533; <br>&gt; Ну и кроме этого ещё не подходит принципиально cut как инструмент для <br>&gt; этого, т.к. он для каждой строки берёт этот диапазон, а мне <br>&gt; надо имея текстовый файл получить его отгрызок от такого-то символа до <br>&gt; такого-то.<br><br>устанавливайте локаль прямо в скрипте.<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#9 Sat, 07 Dec 2019 11:56:33 GMT &gt;&gt; - UTF-32 - возможно её стоит посмотреть.<br>&gt; Да, похоже это выход!<br>&gt; Итого значит: <br>&gt; iconv -f UTF-8 -t UTF-32 original.text &#124; head -n END_POS*4 &#124; tail <br>&gt; -n LEN*4 &#124; iconv -f UTF-32 -t UTF-8 <br>&gt; Спасибо!<br><br>Пожалуйста :)<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#8 Sat, 07 Dec 2019 09:34:32 GMT &gt; iconv -f UTF-8 -t UTF-32 original.text &#124; head -n END_POS*4 &#124; tail <br>&gt; -n LEN*4 &#124; iconv -f UTF-32 -t UTF-8 <br><br>-c флаг там конечно же.<br><br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#7 Sat, 07 Dec 2019 09:26:59 GMT &gt; - UTF-32 - возможно её стоит посмотреть.<br><br>Да, похоже это выход!<br><br>Итого значит:<br>iconv -f UTF-8 -t UTF-32 original.text &#124; head -n END_POS*4 &#124; tail -n LEN*4 &#124; iconv -f UTF-32 -t UTF-8<br><br>Спасибо!<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#6 Sat, 07 Dec 2019 09:20:51 GMT &gt; Что не так то?<br><br>Проверил, действительно с utf-8 работает cut успешно, но это зависит от настроенной локали пользователя который запускает.<br>Я это когда проверил под своим юзером, от которого работаю на компе и у которого всё настроено - ок. А в принципе мне надо это решение для скрипта, и работает этот скрипт в джейле, там никаких локалей у пользователя не настроено и там он выдаёт если на начало двухбайтового символа не попадает, то кракозябру.<br>user$ cat ~/text.utf8<br>1234абвгд<br><br>user$ cut -c5-7 ~/text.utf8<br>абв<br><br>jail# cut -c5-7 /root/text.utf8<br>а&#65533;<br><br>Ну и кроме этого ещё не подходит принципиально cut как инструмент для этого, т.к. он для каждой строки берёт этот диапазон, а мне надо имея текстовый файл получить его отгрызок от такого-то символа до такого-то.<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#5 Fri, 06 Dec 2019 21:23:48 GMT Чес слово, ничерта не понял.<br>В смысле cut -c не работает с utf8 правильно??? <br><br>[code][ diablopc@d200 ~ ]$ cat utf8.text <br>абвгдежзилмнопрстуфхцчшщ<br><br>[ diablopc@d200 ~ ]$ cut -c5-8 utf8.text <br>дежз[/code]<br><br>Что не так то?<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#4 Fri, 06 Dec 2019 20:47:01 GMT &gt;&gt; Может, сначала стоит перекодировать строку из UTF-8 в кодировку с фиксированной шириной <br>&gt;&gt; символа, <br>&gt;&gt; а потом выдирать оттуда подстроку?<br>&gt; Или есть юникод с фиксированной шириной? Тогда да, было бы конвертировать в <br>&gt; него, там выдрать N*2 (или 3) байт, затем перегнать обратно в <br>&gt; обычный юникод.<br>&gt; Но что за кодировка такая?<br><br>Есть:<br><br>- UTF-16 (правда там есть нюансы с "суррогатными парами" символов);<br><br>- UTF-32 - возможно её стоит посмотреть.<br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#3 Fri, 06 Dec 2019 20:34:46 GMT &gt; Может, сначала стоит перекодировать строку из UTF-8 в кодировку с фиксированной шириной <br>&gt; символа, <br>&gt; а потом выдирать оттуда подстроку?<br><br>Или есть юникод с фиксированной шириной? Тогда да, было бы конвертировать в него, там выдрать N*2 (или 3) байт, затем перегнать обратно в обычный юникод.<br><br>Но что за кодировка такая?<br><br> https://www.opennet.ru/openforum/vsluhforumID15/4553.html#2 Fri, 06 Dec 2019 20:33:01 GMT &gt; Может, сначала стоит перекодировать строку из UTF-8 в кодировку с фиксированной шириной <br>&gt; символа, <br>&gt; а потом выдирать оттуда подстроку?<br><br>А как? Если например это текст "война и мир", где есть и французский язык и русский?<br>