> NUMA и Cgrops  вам в помощь

Это слишком очевидно, банально и недостаточно.

pavlinux с большой буквы и "z" на конце.

Во-первых, где вы видели 128-процессорную машину с полным разделением памяти NUMA. Хотя по-хорошему каждый узел должен быть как минимум 2-ядерный, чтобы более ли менее нормально изучать распределённые вычислительные программы.

Во-вторых, в cgroups конечно может определить какие процессоры использовать, сколько shares-ов выдавать (что определяет приоритет, а не общий ресурс) и т.п., но нельзя выставить конкретную частоту. Т.е. на машине менее 128 ядер у вас виртуалки будут заимствовать друг у друга ресурсы.

В-третих, даже вы найдёте 128-CPU-шную машинку с полным NUMA и всё будет хорошо, то полученный кластер по поведению всё-равно будет достаточно далёк от какого-либо реального кластера. Вспомним, например, про ту же проблемы с шейпингом дискового IO, переключением контекста (всякие hypercall-ы и прочее) откуда опять сброс кеша/TLB и прочие неприятности, ну и т.п... или упомянем ещё про сетевой IO, а так же где вы найдёте достаточно места (HDD), столько ОЗУ и прочие проблемы.

Решая все проблемки получится весьма недешёвая железка ;)