>Я собрал sshd без PAM, так как подумал, что чем меньше модулей использует критический сервис - тем лучше
Полностью согласен.
Есть несколько соображений по сабжу.
Имеет смысл использовать РАМ в случае предоставления массовых публичных услуг (mail, FTP, free shell over SSH, etc). В этом случае мы не можем знать, как будут развиваться события в плане роста количества пользователей. Вполне вероятно, что потребуется организовать какое-либо хранилище учетных записей (LDAP, SQL). Вот тут-то РАМ будет незаменим.
Если SSH используется (и будет впредь) только для доступа администратора(-ов) на сервер - поддержка РАМ не требуется. И, как правильно заметил автор поста, будет только ухудшать общую безопасность.
Вот такое IMHO.