В статье "Adding System Calls (an OpenBSD Example)" просто и понятно показано как добавить свой собственный системный вызов в ядро OpenBSD.