Линус Торвальдс анонсировал (https://lkml.org/lkml/2013/7/14/107) первый кандидат в релизы ядра Linux 3.11 (rc1), который ознаменовал закрытие окна по приёму новшеств (merge window) в ветку 3.11. В шутку новому ядру присвоено (http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.g... кодовое имя "Linux for Workgroups", по аналогии с Windows 3.11 for Workgroups. Релиз ядра 3.11 ожидается в сентябре.
Среди внесённых в ядро 3.11 изменений (https://lwn.net/Articles/557314/):
- Интеграция поддержки клиента кластерной файловой системы Lustre (http://wiki.lustre.org/index.php/Main_Page), используемой в большинстве кластеров, входящих в список самых мощных суперкомпьютеров мира. Клиентская часть Lustre работает (http://ru.wikipedia.org/wiki/Lustre_%28%D1%81... вкупе с серверами для хранения данных и обслуживания метаданных, предоставляя средства для обращения клиентов к хранимым в распределённой ФС данным (основанный на ext4 бэкенд ldiskfs для организации работы сервера хранения данных в ядро не включен). Модуль для работы клиента Lustre поставляется в экспериментальном разделе "staging" и не собирается по умолчанию;- Реализована поддержка алгоритма сжатия LZ4, примечательного высокой скоростью упаковки и распаковки данных с сохранением приемлемой степени сжатия, соизмеримой с алгоритмом LZO;
- В F2FS (http://www.opennet.me/opennews/art.shtml?num=35667), развиваемую компанией Samsung высокопроизводительную файловую систему для Flash-накопителей, добавлена поддержка меток безопасности, что позволяет использовать данную ФС с LSM-модулями (Linux Security Modules (http://en.wikipedia.org/wiki/Linux_Security_Modules)), в частности даёт возможность использовать средства принудительного контроля доступа SELinux и SEAndroid (http://www.opennet.me/opennews/art.shtml?num=32806);
- Для 32- и 64-разрядных архитектур ARM подготовлена улучшенная реализация технологий hugetlbfs и Transparen Huge Page, позволяющих увеличить базовый размер адресуемых страниц памяти до 2 или 4 Мб, что приводит к сокращению числа используемых TLB-блоков (Translation Lookaside Buffer) и расширению возможностей по задействованию выделенной, но неиспользуемой памяти;
- В коде Xen и KVM появилась поддержка виртуализации для архитектуры ARM64;
- В системных вызовах open() и openat() добавлена поддержка флага O_TMPFILE, позволяющего передать коду файловой системе информацию о создании временного файла, не видимого в иерархии ФС, что позволяет применить для данного типа файлов отдельные оптимизации. Создаваемые при помощи O_TMPFILE временные файлы не имеют имени файла, в качестве пути передаётся только директория. Создание невидимого временного файла без имени позволяет разработчикам приложений не задумываться о возможных уязвимостях, таких как атака через символические ссылки;
- Интегрирована поддержка технологии сжатого кэширования SWAP - Zswap (http://www.opennet.me/opennews/art.shtml?num=35610). При необходимости выгрузки страниц памяти на диск Zswap производит попытку сжать страницы, размещая их при этом в пуле в оперативной памяти. По мере возможности сжатые страницы не выгружаются на диск чтобы избежать операций ввода/вывода с медленным носителем. Таким образом при возникновении необходимости сброса памяти в раздел подкачки, удаётся добиться сокращения ввода-вывода, что повышает скорость работы системы в целом, за счет минимизации обращений к медленному носителю. Тестирование Zswap в процессе компиляции ядра при возникновении своппинга продемонстрировало выигрыш по объему ввода/вывода в 76% и сокращение времени выполнения операции на 53%;
- Интегрированы дополнительные оптимизации производительности для файловых систем Btrfs (http://lkml.indiana.edu/hypermail/linux/kernel/1307.1/00890.... XFS (http://lkml.indiana.edu/hypermail/linux/kernel/1307.1/00889.... и Ext4 (http://lkml.indiana.edu/hypermail/linux/kernel/1307.0/00286....- Добавлена поддержка новых процессоров: Freescale i.MX6 SoloLite, Freescale Vybrid VF610, Samsung EXYNOS5420, Rockchip RK2928 и RK3xxx processors, TI Nspire, STMicroelectronics STiH41x и STiH416;
- Реализована концепция энергоэффективных рабочих очередей. Помещаемые в данный тип очереди задания не привязываются к конкретному CPU и могут выполняться на любых свободных процессорных ядрах, не вызывая пробуждения "спящих" ядер, а используя уже проснувшиеся для выполнения других заданий;
- В ядро добавлены (http://www.winehq.org/pipermail/wine-devel/2013-July/100438.... патчи, необходимые для реализации поддержки запуска в Wine приложений для Windows RT;
- Включение (http://www.opennet.me/opennews/art.shtml?num=37288) большой серии патчей, направленных на улучшение поддержки GPU семейства Radeon. В частности, реализованы средства динамического управления питанием и частотами GPU, обеспечено отключение тактовых сигналов для не используемых в данный момент блоков GPU ("clock gating"), добавлена возможность активного управления состоянием шины PCI-E (ASPM), при котором энергопотребление шины PCI-E может быть заметно снижено в режиме бездействия. Для Radeon серии HD7000 реализована поддержка PCI-E 2.0 и 3.0. Обеспечена поддержка GPU семейства HD8000 для которых реализована возможность установки видеорежимов, поддержка операций с 3D, вычислений на GPU и работы с UVD;- В DRM-модуле Nouveau появилась (http://www.opennet.me/opennews/art.shtml?num=37353) поддержка средств аппаратного декодирования видео в форматах MPEG2 и H.264 с использованием движка VP2 (PureVideo HD), присутствующего в сериях GPU NVIDIA c NV84 (GeForce 8600) по NV96 (GeForce 9400/9600/9700), а также в графических процессорах поддерживаемых NVA0 (GT 200);
- В DRM-модуле Intel стабилизирована поддержка графической подсистемы на базе платформы Intel Bay Trail, созданной для новых Atom SoC. Улучшена поддержка Intel Haswell, в том числе задействована возможность использования FBC (Frame-Buffer Compression).
Одновременно представлены (http://www.kernel.org/) очередные корректирующие релизы ядра Linux: 3.10.1 (https://lkml.org/lkml/2013/7/13/115), 3.9.10 (http://lkml.org/lkml/2013/7/13/118), 3.4.53 (http://lkml.org/lkml/2013/7/13/114) и 3.0.86 (http://lkml.org/lkml/2013/7/13/102). Как обычно, в анонсе выхода новых версий подчеркивается обязательность проведения обновления.
URL: https://lkml.org/lkml/2013/7/14/107
Новость: http://www.opennet.me/opennews/art.shtml?num=37423
>Интегрирована поддержка технологии сжатого кэширования SWAP - Zswap. При необходимости выгрузки страниц памяти на диск Zswap производит попытку сжать страницы, размещая их при этом в пуле в оперативной памяти.Кастылище
Да нет, это даже вкуснее, чем zram.
...
/sbin/modprobe -q zram > /dev/null 2>&1;
if [ -e /dev/zram0 ]
then
/sbin/swapoff /dev/sdb3 > /dev/null 2>&1
echo 1 > /sys/block/zram0/reset
echo $((128*1024*1024)) > /sys/block/zram0/disksize;
echo 1 > /sys/block/zram0/initstate
/sbin/mkswap /dev/zram0
/sbin/swapon /dev/zram0 >/dev/null 2>&1;
/sbin/sysctl -w vm.swappiness=60
fi
...Тока, после покупки 16 гигов оператифки, оно нахрен не упёрлось!
Угу. Ещё бы они к tmpfs это (сжатие) прикрутили, было бы ваще ништяк.
mkfs.ext2 /dev/zram0
mount -t ext2 /dev/zram0 /tmp -o mode=1777,бла-бла-бла
Только работает оно, как говно: сжатия по факту нет, после удаления файлов память не освобождается.
> Только работает оно, как говно: сжатия по факту нет, после удаления файлов
> память не освобождается.- Слушай, Гена, давай я понесу чемоданы, а ты понесёшь меня…
- Это ты здорово придумал, Чебурашка!
Не, ну нафик, сам я чемоданы не потащу. А Генам, которые уже запилили zram, запилить сжатый tmpfs - как два пальца.
не очень просто - сжатие очень плохо ложится на константный размер блока (принятый в ядре linux).
> не очень просто - сжатие очень плохо ложится на константный размер блока
> (принятый в ядре linux).Да вообще офигеть - большая часть архитектур на уровне MMU и прочая работает с страницами фиксированного размера. Это все линукс виноват!!!111 :)
она и до удаления не освобождается. Раз выделилась и все.
> она и до удаления не освобождается. Раз выделилась и все.Она выделяется, но, пока не используешь, из оперативной не вычитается. Потом запиши в /tmp файлик с миллиардом нулей и посмотри, сколько он памяти отъест. (У меня гиг и отъел)
Припаяй мне 16 гигз оперативки в телефон и роутер, а? :) Чтоб оно размерами осталось как карманная мыльница и при этом кушало так чтобы мелкой батареечки надолго хватало.
> Припаяй мне 16 гигз оперативки в телефон и роутер, а? :)А накой тебе своп в роутере?
> А накой тебе своп в роутере?А на той что в него выдавится только совсем неиспользуемое - больше торентов и прочего качаться сможет при прочих равных, etc.
Проехай на Ламборджини Париж-Дакар, тогда припаяю.
> Проехай на Ламборджини Париж-Дакар, тогда припаяю.Ну не, это уже читерство. Впрочем, если ты мне готов дать Ламборжини - черт с тобой, нехай будет Париж-Дакар :)
Павин ты лопух ! :)http://en.wikipedia.org/wiki/Lamborghini_Cheetah
и дакаровцы на го**о изойдут!
Вооооот, своп на 256 мегах ембедедед девайса это такой же прототип,
как и внедорожник от ламборжыни.
> Вооооот, своп на 256 мегах ембедедед девайса это такой же прототип,
> как и внедорожник от ламборжыни.Нокии это расскажи с ее N900, где они на флеху свопятся чтобы куцые 256М хоть как-то компенсировать :).
А на ведроиде, пардон, ява крап вообще красота - менее 30 Мб процесс явы в принципе не весит. Это с hello world 30М RSS. Остальное ясен пень больше. Поэтому сам понимаешь, память кончается в момент.
Я тоже так умею, назовите любую часть ядра - я найду ей применение у себя в компе!Нахрен нужен своп, который в 1000 раз медленнее оперативки?!
И тем более, нахрен нужен своп, который хранится в оперативке?!
Не проще ли выкинуть софтину который нужен своп!Более того, своп - это область резервной памяти, которая должна использоваться
только в критических, пиковых ситуациях продолжительностью не более 1-2 минут.
Если этого не происходит, нужно задуматься о всей архитектуре системы, и софте и железе.Ну а на примере N900, да - продолжайте жрать кактус.
> Ну а на примере N900, да — продолжайте жрать кактус.продолжаем. побрили кактус и с умилением глядим на владельцев ведроидов, огрызков и будущих жолавцев: они от кактуса гордо отказались, жрут стекло, носят бельё из стекловаты.
а ведро батареек носите с собой?
до сих пор как вспомню как на купленый в штатах N900 включал русский язык на hw клавиатуре.. так и вздрогну - штатно возможностей групировки ярлыков так и нету?
MMS все так же отправить и получить нельзя?
> а ведро батареек носите с собой?Когда надо - ношу. Две недели GPS навигации по OSM в полном автономе - нормальненько будет? Кстати при наличии мозга - батарейный блок получается относительно скромного размера и веса.
> до сих пор как вспомню как на купленый в штатах N900 включал
> русский язык на hw клавиатуре..Так там маркировка не нанесена и лэйаут отличается. Ну кто хотел странного - тот и получил. Нестандартные операции вообще простотой не отличаются. А что, есть другие телефоны где так вообще можно будет?
> так и вздрогну
Не вижу полноценной замены. Остальное по возможностям - игрушки, не покрывающие мои потребности. Зато какой-то игрушечный софт от школьников с троянами - всегда пожалуйста. А тут нормальный потомок дебияна, доведенный до ума.
> - штатно возможностей групировки ярлыков так и нету?
Вроде нет. А мне пофиг - их 1 раз расставил и порядок. Ну да, тупнячок. Но, знаешь, если самолет летает - мы так и быть простим ему потертость пилотских кресел. Лучше летающий самолет с потертыми креслами чем идеально новенькая ... детская педальная машинка.
> MMS все так же отправить и получить нельзя?
Понятия не имею - в последний раз я пробовал отправить MMS лет 7 назад, на более другом смартфоне от нокии. В результате с меня содрали почти бакс а сообщение успешно продолбалось. Я решил что такой сервис мне ни к чему. Емыло получается в разы дешевле и универсальнее. Кастрированный вариант емыла по конской цене мне ни к чему. Пусть отправляется туда же куда и WAP сайты, имхо.
> Нахрен нужен своп, который в 1000 раз медленнее оперативки?!Вот указанная штука делает по сути сжатую оперативку. А нужен он на тот случай чтобы система не грохалась совсем, если памяти немного не хватило.
> И тем более, нахрен нужен своп, который хранится в оперативке?!
А это как раз способ поднять скорость его работы. Получается этакая сжатая оператива :). Скорость падает, но не так как со свопом на медленном носителе. В этом то как раз и пойнт.
> Не проще ли выкинуть софтину который нужен своп!
Опять же - пока не начали выпускать роутеры и телефоны с 16 гигз рамы - не проще, увы.
> Более того, своп - это область резервной памяти, которая должна использоваться
> только в критических, пиковых ситуациях продолжительностью не более 1-2 минут.Ну так она так и используется. Плюс туда сливается совсем уж dead код и данные, которые никогда не будут поюзаны.
> Если этого не происходит, нужно задуматься о всей архитектуре системы, и
> софте и железе.Да г@вно вопрос - даешь телефон и планшет с 16 гигз оперативы. И домашние роутеры за $30 с 16 гигз давайте. Вагон сразу беру.
> Ну а на примере N900, да - продолжайте жрать кактус.
Дык это... жрать песок, картон, высохший помет вреблюдов и прочие современные веяния типа ведроидов, ымобилок и прочих виндошитофонов - еще менее прикольно чем кактусы.
Наоборот. Рантайм явовский пускается один раз. На каждую последующую программу он уже не запускается, а используется уже запущенный. А сами явовские программы получаются меньше.
> Наоборот. Рантайм явовский пускается один раз. На каждую последующую программу он уже
> не запускается, а используется уже запущенный. А сами явовские программы получаются меньше.Оно и видно - в ведроиде каждый процесс по 30M+ RSS с хелловорлом и много больше с чем-то сложнее. Так что запустив пятой самых обычных программ можно налететь на недетские тормоза.
> Проехай на Ламборджини Париж-Дакар, тогда припаяю.На ламборджини не то что Парж-Дакар, а Париж-Нью-Дели проехать можно ;)
http://www.taiar.it/1/images/670_0_2563948_67392.jpgP.S.
Своп в оперативке - как вязаный контрацептив
Сжатие и маленкая батареека очень не сочетаются. Либо то либо другое...)
> Сжатие и маленкая батареека очень не сочетаются. Либо то либо другое...)Как бы это сказать? У многих девайсов такого плана I/O настолько дорогое (в том числе и по нагрузке на проц) что еще вопрос чья возьмет.
> Да нет, это даже вкуснее, чем zram.Это отличная штука для бездисковых клиентов с небольшим размером RAM, с 2.6.22 её патчами прикручивали к ALTSP. Крайне рад наконец видеть в mainline -- может, и наши две копейки отзывов по реальному применению подсобили (вместе с патчами коллеги).
только в сценарии с избытком вычислительного ресурса ЦП, в случае же его недостатка и нехватки памяти - это будет полный ппц
> только в сценарии с избытком вычислительного ресурса ЦП, в случае же его
> недостатка и нехватки памяти - это будет полный ппцЗавидуйте уж молча, неуважаемый виндyзятник. Чтоб вы знали, скоростные алгоритмы компрессии весьма нетребовательны к процессору. По сравнению с скоростью I/O операций. Номер катит как на десктопниках, так и на мелочевке всякой. На десктопах с кучей ядер по процу обычно есть запас. На мелочевке I/O обычно еще дохлее чем проц, так что профит наступает и так и сяк.
> скоростные алгоритмы компрессии весьма нетребовательны к процессоруТак им в методичке не пишут... справедливости ради, кэш такое тоже здорово вымывает, но по сравнению с необходимостью лезть за страничкой на диск (особенно удалённый) это цветочки.
в удаленный - разумеется, а на локальном десктопе... ох, я бы сто раз подумал
> Так им в методичке не пишут... справедливости ради, кэш такое тоже здорово вымывает,Оно конечно да, но на фоне скорости I/O операций с диском/флешкой это обычно очень незначительная проблема.
>> скоростные алгоритмы компрессии весьма нетребовательны к процессору
> Так им в методичке не пишут... справедливости ради, кэш такое тоже здорово
> вымывает, но по сравнению с необходимостью лезть за страничкой на диск
> (особенно удалённый) это цветочки.справедливости ради отметим - в ядрах ниже 3.11 в MM LRU присутсвовал забавный баг - который вымывал кэш легко и быстро на машинах у которых было мало свободной памяти и много дисковых операций.
Но это был именно баг - что подтвердил akpm
>>From: Mel Gorman <mgorman@suse.de>
Subject: mm: add tracepoints for LRU activation and insertionsAndrew Perepechko reported a problem whereby pages are being prematurely
evicted as the mark_page_accessed() hint is ignored for pages that are
currently on a pagevec --
http://www.spinics.net/lists/linux-ext4/msg37340.html
>>ну и остальные патчи из этой патчки.
Как тут поможет zram & zswap - не понятно, разве что реже будет пытаться найти свободную память - так это не на долго.
Сдается мне дорогой Шигорин - что вы HighLoad и HPC видели только по названиям.
> Сдается мне дорогой Шигорин - что вы HighLoad и HPC видели только по названиям.Я не ядерщик, а видел и щупал достаточно живьём.
Впрочем, Ваша логика блистает на уровне "мама, он меня сукой назвал" -- мне бы было стыдно.
>> Сдается мне дорогой Шигорин - что вы HighLoad и HPC видели только по названиям.
> Я не ядерщик, а видел и щупал достаточно живьём.
> Впрочем, Ваша логика блистает на уровне "мама, он меня сукой назвал" --
> мне бы было стыдно.Да да - вы помните как рассказывали о том что ваши кластера не могут стартовать по пол года и куча проблем с железом? что возникают проблемы с поддержкой люстры и вы ее не в состоянии поддерживать - но между тем ставите клиентам..
Я уж молучу что вы не шупали не одной машинки из TOP10, а приведенный мной вывод kmem -i это Cray XT6 из первой десятки - Lustre MDT сервак оттуда.
Ну и всякое безобразие типа серверов NASA, кластера который считал спецэфекты к черному рыцарю..Так что же называется какой HPC вы видели и шупали? что-то из того что можно собрать на коленке?
>[оверквотинг удален]
> не могут стартовать по пол года и куча проблем с железом?
> что возникают проблемы с поддержкой люстры и вы ее не в
> состоянии поддерживать - но между тем ставите клиентам..
> Я уж молучу что вы не шупали не одной машинки из TOP10,
> а приведенный мной вывод kmem -i это Cray XT6 из первой
> десятки - Lustre MDT сервак оттуда.
> Ну и всякое безобразие типа серверов NASA, кластера который считал спецэфекты к
> черному рыцарю..
> Так что же называется какой HPC вы видели и шупали? что-то из
> того что можно собрать на коленке?Beowulf можно и дома поднять, вот проблем там побольше чем в ТОП10!
> Да да - вы помните как рассказывали о том что ваши кластера
> не могут стартовать по пол года и куча проблем с железом?Мало того, если Вы не знаете даже того, что это типичная ситуация в HPC по миру -- ну не лезьте, узкий "специалист", утрамбовывать под лавку неспециалиста широкого профиля, надорвётесь.
> что возникают проблемы с поддержкой люстры и вы ее не в
> состоянии поддерживать - но между тем ставите клиентам..Вы, простите, идиот? То, что _мы_ (Massive Solutions) ставили -- сами и поддерживали. То, что в Вашем мозгу не может зафиксироваться факт MS != ТП -- характеризует только Вас лично.
> Я уж молучу что вы не шупали не одной машинки из TOP10
Я не помню, что за установка была у физиков, а так скромно строили #12.
> а приведенный мной вывод kmem -i это Cray XT6 из первой
> десятки - Lustre MDT сервак оттуда....который Вы в глаза не видели и не увидите.
> Так что же называется какой HPC вы видели и шупали? что-то из
> того что можно собрать на коленке?Предлагаю извиниться и прекратить нести дикий бред, в противном случае я как участник форума и модератор намерен прекратить всякое с Вами общение, в т.ч. и объяснять причину удаления мной Ваших сообщений, нарушающих правила форума -- можете сразу сверяться с http://wiki.opennet.ru/ForumHelp#FAQ (просьба не рассматривать как угрозу, просто нет желания тратить на Вас больше времени, чем придётся как модератору -- надоело).
psssst. Миша, спокойней. ну право, это мне можно в подобном тоне. а тебя лычки обязывают просто игнорировать и тереть, если что.
> а тебя лычки обязывают просто игнорировать и тереть, если что.Это ведь не способ ответа. Досадно, что человек явно не идиот, но зациклился на своих проблемах с Т-Платформами, хотя ему уже раз пять на пальцах объяснялась диспозиция. А бисеровалютный резерв ограничен.
PS: в смысле досадно, что зациклился, разумеется.
> справедливости ради отметим - в ядрах ниже 3.11 в MM LRU присутсвовал
> забавный баг - который вымывал кэш легко и быстро на машинах
> у которых было мало свободной памяти и много дисковых операций.
> Но это был именно баг - что подтвердил akpmВот только это совсем не то о чем Шигорин вещает...
Я конечно понимаю желание понтануться своим уровнем знаний, только тут это выступление - ни в п...у, ни в красну армию.
> Как тут поможет zram & zswap - не понятно, разве что реже
> будет пытаться найти свободную память - так это не на долго.Не знаю где и что там не на долго, а в системах с душняком памяти это может нехило сократить медленное I/O с диском, заменив его на компрессию-декомпрессию памяти.
По сути получается некое компрессование оперативки. Поскольку данные в оперативке имеют свойство быть рыхлыми - жмутся они хорошо и быстро, даже самым хиленьким скоростным LZ и прочая. И Шигорин скорее всего прав в том плане что активность компрессора скорее всего несколько подгаживает кэшированию т.к. компрессоры ворочают относительно много данных при сжатии. Вот только на фоне свопления на механический диск или в эмбедовке на тормозную флеху это будет ерунда на фоне проблем от тормозного paging, по поводу чего это и может дать выигрыш :)
> Сдается мне дорогой Шигорин - что вы HighLoad и HPC видели только
> по названиям.Сдается мне что вы вообще вылезли с вашими выс@рами совершенно не по делу.
> Я конечно понимаю желание понтануться своим уровнем знанийХорошо бы нам всё-таки учиться выделять полезное в читаемом и игнорировать бесполезное или ошибочное...
Со своей стороны могу заметить, что #86 было интересно прочитать, но сдуру среагировал на действительно беспредметный наезд касательно HPC. Прошу прощения.
> По сути получается некое компрессование оперативки. Поскольку данные в оперативке имеют
> свойство быть рыхлыми - жмутся они хорошо и быстро, даже самым
> хиленьким скоростным LZ и прочая. И Шигорин скорее всего прав в
> том плане что активность компрессора скорее всего несколько подгаживает кэшированию т.к.
> компрессоры ворочают относительно много данных при сжатии. Вот только на фоне
> свопления на механический диск или в эмбедовке на тормозную флеху это
> будет ерунда на фоне проблем от тормозного paging, по поводу чего
> это и может дать выигрыш :)Сдается мне что вы не понимаете что такое Highload, там свопа не бывает :) по этой же причине..
Идите дальше свой localhost настраивайте.
> Сдается мне что вы не понимаете что такое Highload, там свопа не
> бывает :) по этой же причине..Классическое "все пи..сы, один я в белом и со шпагой!" :)
> Идите дальше свой localhost настраивайте.
Я только одного не понял - кто тут укурился настолько что в zram в хайлоад зачем-то сватать стал? Откуда вы этой бредятины нахватались? А то что лично вам в вашей нише микроскоп бесполезен для забивания железнодорожных костылей - не делает микроскоп плохим прибором. Просто он хорош в других ситуациях.
справедливости ради - ответим - в тяжелонагруженных вещах - типа Lustre MDS сервак - CPU не бывает свободного как класс. В Compute Node - тоже не бывает свободного CPU. Поэтому цена IO операций может быть очень очень дешевой по сравнению с CPU, так же дешевле поставить еще памяти реально.
> справедливости ради - ответим - в тяжелонагруженных вещах - типа Lustre MDS
> сервак - CPU не бывает свободного как класс.Ну так если вы в такие применения zram пихаете - да, хреново микроскопом гвозди забивать. Особенно если это железнодорожный костыль.
А как надо?
Надо сбрасывать на диск и не страдать ерундой. Отдать большой кусок памяти на то чтобы сохранять туда память глупо, тогда уж лучше все подряд сжимать и на ходу распаковывать как видеокарты.
> на то чтобы сохранять туда память глупо, тогда уж лучше все
> подряд сжимать и на ходу распаковывать как видеокарты.Так это по сути оно и есть. А сжатие скоростным алгоритмом - быстрее чем запись на диск.
>> на то чтобы сохранять туда память глупо, тогда уж лучше все
>> подряд сжимать и на ходу распаковывать как видеокарты.
> Так это по сути оно и есть. А сжатие скоростным алгоритмом -
> быстрее чем запись на диск.типовая ошибка.
только запись на диск она асинхронна к CPU - может быть запущена и по событию будем знать что закончена,
а сжатие - оно зараза всегда синхронно и жрет именно CPU time, которого и так не хватает..
> типовая ошибка.Ага, ЩАЗ. Системы разные бывают. Очень разные. У мелочевки например (на которой линуха немеряно) - I/O дорогой еще и по процессору. Съел? :)
> только запись на диск она асинхронна к CPU - может быть запущена
> и по событию будем знать что закончена,Во первых, если уж мы о относительно больших системах (впрочем это уже и мелочи начинает качаться) - в этом дивном многоядерном мире разные ядра CPU тоже можно считать в каком-то роде асинхронными, если хочется :)
Во вторых, если I/O медленный и грузящий проц - еще вопрос чья возьмет.
> а сжатие - оно зараза всегда синхронно и жрет именно CPU time,Синхронно с остальным оно только в 1-поточной модели и без жульничеств типа асинхронного ввода-вывода. В современном мире с кучей ядер - синхронность таких вещей относительно чего-то еще - уже совсем не факт. С другой стороны даже если допустить пессимистичный случай, еще вопрос как обычное синхронное I/O в 1-поточной программе закончится быстрее. С сжатием или без. От системы сильно зависит. А покуда I/O не завершен, такая программа все-равно курит бамбук т.к. результат синхронного сискола можно вернуть лишь после его завершения.
> которого и так не хватает..
Опять же. У мелочевки I/O может быть столь дорогим по нагрузке на процессор и тормозным в целом, что сжать и расжать может быть даже более хорошим вариантом чем с таким I/O дело лишний раз иметь. А в случае десктопов и тому подобного - механические диски сравнительно тормозные. Чем меньше они дергаются тем выше профит.
> Надо сбрасывать на диск и не страдать ерундой.у тебя кто-то отобрал эту возможность? сбрасывай, не страдай.
Вот именно. Ведь твои одноклассники сразу бегут RAM покупать, когда нужно собрать раз в пару лет что-то слишком большое для имеющегося объема RAM.
+1.
Вообще линух с рамой очень дружен. У самого 4 гига, ни разу не видел чтобы ось вышла за пределы 1 гига.
А браузер у вас какой?
Лиса
А кроме браузера чего-нибудь запускаете?
Я вот открываю пару тяжелых проектов в Idea или qtcreator и привет — если без свопа, все встает колом, намертво. 4 гига, тоже когда-то думал, что больше не может понадобиться.
Да что ты говоришь, современный браузер с открытым калтактиком (и музончиком через флеш) съест больше всех твоих IDE вместе взятых.
Это хром то? Ну да, у меня он OOM на 8Гб вызывал. Вот только лиса ни разу за 2Гб не вылезла. Так, на подумать.
> А кроме браузера чего-нибудь запускаете?я вот запускаю. пару браузеров, почтовик, терминалку с кучей вкладок, мессенджеры (один весьма жирный, потому что в основе там Qt и WebKit), mplayer, rtorrent, периодически gcc (и g++), прочую фигню — не лазит в своп на четырёх гигах, зараза. ну никак не хочет.
привет вам, пользователи bloatware.
> привет вам, пользователи bloatware.Вот ведь чудак (на букву м).
Ты похвастаться захотел что ли? Думаешь, мне интересно, что ты там запускаешь?
Поинт был в том, что все намертво зависает при расходе памяти около 80-90%
А насчет блоатвари ты прав. Язык C++ самая большая блоатварь. Чтобы скомпилировать и слинковать исходники большого проекта, нужно немерянное железо. Про построение модели кода в IDE я вообще молчу.
Для тех, кто сложнее факториала ничего не писал, но осуждает, привожу пруфлинк: https://sites.google.com/a/chromium.org/dev/developers/how-t...
>Have at least 8 GB RAM. If you have less than 4 GB, you may find builds to be prohibitively slow.
>avoid memory swap at any cost!Легаси драное. Скорей бы кресты сдохли.
я намекаю, что нефиг засирать память всякими говноиде. тогда и «расход памяти» резко уменьшится.да, кстати: Qt — большой проект? а то я тут Qt4 периодически пересобираю из гита — а в своп всё равно не лазит. и да, я при этом киношки смотрю, сёрфаю и всяким другим занимаюсь.
нефиг в c++ срать шаблонами — не будет память жрать.
На "раз в пару лет" есть своп
> На "раз в пару лет" есть свопВот оно как раз и позволяет меньше диском тарахтеть когда своп понадобился.
SSD уже не тарахтят! :)
> SSD уже не тарахтят! :)Да, они просто протираются и осыпаются. Поэтому своп на них хранить не самая лучшая идея. Хотя если ты готов их менять как патроны - тогда вариант :).
Протираются, но не осыпаются, если прошивка нормальная. Просто прекращают жизнь как устройство, на которое можно произвести запись. Это в идеале, разумеется.
> Протираются, но не осыпаются, если прошивка нормальная.Абсолютная лотерея - физические свойства ячеек по которым прогнали много циклов могут оставлять желать. Вплоть до утечек заряда и в результате потери информации. До некоторых пор отдельные сбои корректирует ECC, но его возможности не безграничны. Если ECC не смог скорректировать ошибку чтения - информация из этой страницы нанда утеряна, уж извините.
> Просто прекращают жизнь как устройство,
> на которое можно произвести запись. Это в идеале, разумеется.А теперь рассмотрим ситуацию: читает прошавка NAND. Делается ECC. Обана - ошибки. Обана - ECC столько не заборол. Ну то-есть, проблемный блок конечно будет переназначен на резерв. А когда резерв закончится - накопитель откажется записывать данные совсем, что логично, т.к. "в случае аварии" переназначать больше некуда а сокращать доступную емкость накопителя в рантайм - не вариант.
Но вот что должна вернуть фирмварь в обломавшемся запросе на чтение? Данные то продолбались... :)
Вообще-то основная польза для него на мобилах, где свопа нет из-за адской тормознутости операций с флешем, здесь выгода очевидна. А вот десктопах эта штука то лет не сдалась - пару раз в год пофиг, как оно там свопом тарахтит, там оно разве что непредсказуемости добавит.
>Вот оно как раз и позволяет меньше диском тарахтеть когда своп понадобился.Правда учащает ситуации, когда своп понадобится. :)
> Вот именно. Ведь твои одноклассники сразу бегут RAM покупать, когда нужно собрать
> раз в пару лет что-то слишком большое для имеющегося объема RAM.да да. то то RHEL переодически сжирает все в buffer head и начинает тормозить не по детски - когда памяти выше 32G.
> переодическиГраммар-наци, придите уже за ним. Заодно мы отдохнем от постоянных глупых выс@ров в адрес редхата :).
Я только одно не понимаю - если вам редхат не нравится, зачем вы им пользуетесь? Что, любимые бсдшечки и прочие соляры - вообще "не алё". Оказывается у пингвиноидов кактус лучший из доступных, так? :)
оракл у него, то есть переименованый редхат, с работы выгонят если перестанет пользоваться.
>> переодически
> Граммар-наци, придите уже за ним. Заодно мы отдохнем от постоянных глупых выс@ров
> в адрес редхата :).
> Я только одно не понимаю - если вам редхат не нравится, зачем
> вы им пользуетесь?что поделать - что приходится по работе делать - но я не обязан его при этом любить. Не правда ли?
Но при этом я весьма много сталкиваюсь с кривизной этого "поделия".если считаете что это поклеп - то вот вам примерчик.
crash> kmem -i
PAGES TOTAL PERCENTAGE
TOTAL MEM 32996010 125.9 GB ----
FREE 3473584 13.3 GB 10% of TOTAL MEM
USED 29522426 112.6 GB 89% of TOTAL MEM
SHARED 21836622 83.3 GB 66% of TOTAL MEM
BUFFERS 21833163 83.3 GB 66% of TOTAL MEM
CACHED 24357 95.1 MB 0% of TOTAL MEM
SLAB 4399438 16.8 GB 13% of TOTAL MEMTOTAL SWAP 4194971 16 GB ----
SWAP USED 257182 1004.6 MB 6% of TOTAL SWAP
SWAP FREE 3937789 15 GB 93% of TOTAL SWAP
....
CACHE NAME OBJSIZE ALLOCATED TOTAL SLABS SSIZE
ffff881fbf800d80 buffer_head 104 21833163 22525748 608804 4k
..
после чего основные процессы повисли в try_to_free_page
..
bash-3.2$ grep -c -e cond_resched bt-1.log
2136
...
похожая проблема с "решением" от HP для RHEL5 - ценой уменьшения маштабируемости.http://h10025.www1.hp.com/ewfrf/wc/document?cc=us&lc=en&dlc=...
но проблема то осталась..
> что поделать - что приходится по работе делать -Пришли надзиратели и заставили штыками и прикладами вкалывать на концлагерном компьютере? Бывает.
> но я не обязан его при этом любить. Не правда ли?
Да просто странно жрать кактус, чертыхаться что колючий, но все-равно кушать. Что, ваши соляры и бсдшечки уже никому нафиг не упали? Ну бывает.
> Но при этом я весьма много сталкиваюсь с кривизной этого "поделия".
Кто ж виноват что остальные - еще большие уродцы, не пригодные для применения по сути?
> но проблема то осталась..
Ну как бы это весьма нишевая проблема. Что до масштабируемости - все кто в здравом уме вообще масштабируются не путем установки супер-серверов, а просто увеличением количества вполне заурядненьких сервачков без особых проблем и специальных свойств. Миллион мышей спокойно обглодает до скелета даже слона.
В MAC OS X 10.9 такое же сжатие страниц, помогает экономить ресурсы на запусках вкладок Google Chrome как минимум
> В MAC OS X 10.9 такое же сжатие страниц, помогает экономить ресурсы
> на запусках вкладок Google Chrome как минимумКаких страниц? O_O
http://photos.appleinsider.com/OSX.10.9.MemoryCompression.3....
>> В MAC OS X 10.9 такое же сжатие страниц, помогает экономить ресурсы
>> на запусках вкладок Google Chrome как минимум
> Каких страниц? O_Ohttp://appleinsider.com/articles/13/06/12/compressed-memory-...
FreeBSD таки давно умеет. Для встройки - реально полезно.
не умеет
Запасся попкорном....
> FreeBSD таки давно умеет.И, конечно же, вы покажете нам пруфы? Например, коммиты где эту фичу запилили.
> Для встройки - реально полезно.
Фрибсд и встройка - взаимоисключающие параграфы практически.
> Фрибсд и встройка - взаимоисключающие параграфы практически.Сразу стало интересно, почему? Без p@d34кi.
> Сразу стало интересно, почему?Потому что
1) Поддержка большинства SoC - только на бумаге. Загрузить ядро и пyкнуть в UART - это еще не поддержка SoC. А кто драйвера для кастомной периферии напишет? Это в майнлайновый пингвин то не всегда вовремя попадает пока. Вовремя - это когда SoC актуален и выпускается. А не через 5 лет после того как его с конвеера сняли, если что.2) Общее устройство системы таково что никто никогда не затачивал ее на это. Пытаются сватать кучу юзермода и софта в нем (всякие базовые системы и прочая). В эмбедовке от этого только вред. Там удобнее собрать кернел помельче, дать ему юзермод покомпактнее. Типа uClibc, busybox, etc. Только у них опять же "неправильные" лицензии, зажать не получится. В результате по нормальному это с *bsd осиливают полторы корпорации. Которые потом как обычно давятся жабой. Все остальные в результате юзают менее колючие кактусы, хоть ими и приходится делиться с теми кто колючки бреет.
3) В системе не богато с технологиями актуальными в таких областях. Если линь может взлетать так и сяк, его уже давно адаптировали к взлету со всего чего угодно, работе с самыми экзотичными вундервафлями и прочая, то в bsd с этим ой. До недавних пор там даже файловой системы которую можно юзать на флешке напрямую прицепленной к процу не было. Потом жунипер вроде как скинул какие-то объедки со стола. А тем временем в пингвинах уже много лет как целый ассортимент таких ФС на выбор под разные ситуации. И вот так - куда ни ткни.
Т.е. теоретически ничего вроде бы и не противоречит, а практически - это не самое удобное начинание и на это идут только отчаянные фанаты марки или те кому надо зажать сорец любой ценой при наличии дофига ресурсов. В пингвине как-то умнее поступили, не став хапаться за все и сразу, делая только ядро. А юзермод на него потом кому какой надо - те и навешивают. Один размер всем не подойдет.
Щик и блеск !!! ничего другого не скажешь...
>Одновременно представленыmainline: 3.11-rc1 2013-07-14
stable: 3.10.1 2013-07-13
stable: 3.9.10 2013-07-13
угу, одновременней некуда
> угу, одновременней некудаХуже другое -- полутрадиционное "обновляйтесь обязательно".
> Хуже другое -- полутрадиционное "обновляйтесь обязательно".Ну так если вы хотите быть святее апстрима - ну вот и бубухайте на это столько же ресурсов сколько апстрим.
codename "for workgroups"
Не надоело еще?
>Не надоело еще?Официальное название? -Нет!
А жаль, глуповатая шутка получилась
> Не надоело еще?Вообще-то разработчики линя сами пошутили на этот счет :)
Еще и четырехцветный флаг пририсовали к туксу. Возможно, из-за этого флага ни одна копия linux-3.11-rc1 не является лицензионной.
Да уж, этого делать ни к чему было :/
> Еще и четырехцветный флаг пририсовали к туксуГде?
> Где?
>ни одна копия linux-3.11-rc1 не является лицензионной.Пейратский Линукс?:)
Считаете, надо было шестицветный флаг пририсовать?
>новому ядру присвоено кодовое имя "Linux for Workgroups"ну теперь никто не скажет, что линукс не готов для десктопа
> по аналогии с Windows 3.11 for WorkgroupsНе по аналогии, а с намёком.
Теперь м$ сможет еще лучше всех развести на деньги.
>> по аналогии с Windows 3.11 for Workgroups
> Не по аналогии, а с намёком.Типа следующий Линакс 95 Чикага?
*Взнезапный шок и флэшбеки*
Релиз обещает быть заманчивым.
На сколько распространена поддержка IRST в ноутбуках, выпускаемых в последнее время?
Ура!!!
CC kernel/configs.o
CC kernel/rcutree.o
In file included from kernel/rcutree.c:57:0:
kernel/rcutree.h:74:3: error: #error "CONFIG_RCU_FANOUT insufficient for NR_CPUS"
kernel/rcutree.h:380:23: error: ‘NUM_RCU_LVL_0’ undeclared here (not in a function)
kernel/rcutree.h:380:23: error: ‘NUM_RCU_LVL_1’ undeclared here (not in a function)
kernel/rcutree.h:380:23: error: ‘NUM_RCU_LVL_2’ undeclared here (not in a function)
kernel/rcutree.h:380:23: error: ‘NUM_RCU_LVL_3’ undeclared here (not in a function)
kernel/rcutree.h:380:23: error: ‘NUM_RCU_LVL_4’ undeclared here (not in a function)
kernel/rcutree.h:381:25: error: ‘RCU_NUM_LVLS’ undeclared here (not in a function)
kernel/rcutree.c:103:35: error: invalid operands to binary + (have ‘int *’ and ‘int *’)
kernel/rcutree.c:103:35: error: invalid operands to binary + (have ‘int *’ and ‘int *’)
kernel/rcutree.c:103:35: error: invalid operands to binary + (have ‘int *’ and ‘int *’)
kernel/rcutree.c:103:35: error: invalid operands to binary + (have ‘int *’ and ‘int *’)
kernel/rcutree.c:103:35: warning: initialization makes integer from pointer without a cast [enabled by default]
kernel/rcutree.c:103:1: error: initializer element is not constant
kernel/rcutree.c: In function ‘rcu_get_root’:
....
> Ура!!!
>
> CC kernel/configs.o
> CC kernel/rcutree.o
> In file included from kernel/rcutree.c:57:0:
> kernel/rcutree.h:74:3: error: #error "CONFIG_RCU_FANOUT insufficient for NR_CPUS" …В kernel-janitors уже написал?
> В kernel-janitors уже написал?Да они притомили уже - пол ядра не работает, если не включить опцию CONFIG_DEBUG_KERNEL
>> В kernel-janitors уже написал?
> Да они притомили уже - пол ядра не работает, если не включить
> опцию CONFIG_DEBUG_KERNELЭто redhat перепутал свои ядра и kernel.org - у них тоже не все собирается :-) а попытка собрать с нестандартным конфигом посылается на юх...
Ну так иди и собирай свои соляровые или бсдшечные ядра. Ах, они еще хуже? Бывают в жизни огорчения. Тогда зачем гадить там где кушаешь?
O_TMPFILE открывает безграничные возможности для тролления малоопытных админов :)
> O_TMPFILE открывает безграничные возможности для тролления малоопытных админов :)А также юных кулхацкеров, которые теперь будут ломать бошку где же у программ спереть данные из темпа.
> O_TMPFILE открывает безграничные возможности для тролления малоопытных админов :)А также многоопытных профффесссоров с акккадемиками ;) Ведь "A computer file is a resource for storing information, which is available to a computer program and is usually based on some kind of durable storage. A file is durable in the sense that ___it remains available for programs to use after the current program has finished___." (С) Wikipedia Имеет ли право ЭТО называться файлом вобще в общепринятом (философском, если хотите) смысле?
А еще можно цитировать бессмертный кинофильм про трех мушкетеров: "Имя, сестра, имя..." ;)
> Имеет ли право ЭТО называться файлом вобще в общепринятом
> (философском, если хотите) смысле?А про блох-то, про блох что в той статье было написано? Не томите!
(это к тому, как безнадёжно смешна и печальна бывает педивикия даже на технические темы -- файл на tmpfs им уже вроде как и не файл, зато всё смешано в кучу и размешано половником)
Файл -- это последовательность данных, доступная как целое. То, что у него могут быть атрибуты (включая одно или более имён) -- это удобно, но, в отличие от fd, необязательно.
Хм, про "поименованную последовательность данных на носителе" лет двадцать таки рассказывают. Другое дело, что мир таки меняется - но да, формулировка была примерно такой очень долго.
>доступная как целое.Этот кусок тоже лучше откинуть. Просто последовательность данных.
"именованная область данных на диске". где-то видел такое. экстремально философское. для детей страшно непонятное абстрактностью и гвоздями прибитое к диску.
А заменить "диск" на "носитель информации"? Коим могет быть и RAM?
> O_TMPFILE открывает безграничные возможности для тролления малоопытных админов :)Ага, освоят quota(8) и займутся определением границ безграничности. :)
И для вирусов которые засирают фс невидимыми файлами
> И для вирусов которые засирают фс невидимыми файламиА вирус опять придется скачивать и компилить самостоятельно, допатчивая криворукость авторов? :)
Торвальдц рад :)
What the F*CK, guys?This piece-of-shit commit is marked for stable, but you clearly never
even test-compiled it, did you?Because on x86-64 (the which is the only place where the patch
matters), I don't see how you could have avoided this honking huge
warning otherwise:
There aren't enough swear-words in the English language, so now I'll
have to call you perkeleen vittupää just to express my disgust and
frustration with this crap.
Линус, как обычно, не стесняется в выражениях.
Виновные принесли свои извинения, ситуация разрешилась.
> https://lkml.org/lkml/2013/7/15/529Ну вот, а ещё альт в роботостроении обвиняют... :)
> There aren't enough swear-words in the EnglishЖдём новости "Линус учит русский".
>В ядро добавлены патчи, необходимые для реализации поддержки запуска в Wine приложений для Windows RTжесть. патчить ядро линукса только для того, чтобы можно было запускать в эмуляторе виндовые программы
>>В ядро добавлены патчи, необходимые для реализации поддержки запуска в Wine приложений для Windows RT
> жесть. патчить ядро линукса только для того, чтобы можно было запускать в
> эмуляторе виндовые программыЭто, вроде как, нужно только для извращенцев, видящих преимужество в\
$ ./Setup.exe
перед
$ wine ./Setup.exe
Нет, это не для этого.
binfmt линух умеет давно и из коробки https://wiki.archlinux.org/index.php/Wine#Using_Wine_as_an_i...
и к примеру у меня даже java не нужно прописывать при запуске жабаклассов и жаров.Судя по сабжу это просто даёт возможность запускать не только win32 api приложения, но и winrt, которые требуют (цитата):
>but mostly they expect to have the thread environment block (TEB) in TPIDRURW.откуда можно сделать вывод, что вантуз отсутствие форка костыляет как может, но пока ещё до его реализации не дошёл.
> патчить ядро линукса только для того, чтобы можно было запускать в эмуляторе виндовые программыНу на чем-то вендовые программы запускать нужно. Больше вроде не на чем.
> Ну на чем-то вендовые программы запускать нужно. Больше вроде не на чем.технично )))
> жесть. патчить ядро линукса только для того, чтобы можно было запускать в
> эмуляторе виндовые программыну так, чай, не m$, которая и для своих собственных старых систем не может нормальных костылей в новые напихать.
ну, внесли патчик. небольшой, а кому понадобится — работает. не половину ядра же перекроили.
