vm.overcommit=0 стоит, но это не сказать чтобы сильно сказывалось.
В ФФ стоит плагин который неактивные вкладки выгружает, так что их чуть больше колличества окон.
И потом, ну сожрал бы он 64гб, и 60 было бы свободным, но ведь нет.

Не давно оом киллер добрался до ФФ, освободилось не так много, кажется 10-25гб.