>iptables -I INPUT 1 -i eth1 -p tcp --syn --dport smtp -m
>connlimit --connlimit-above 2 -j DROP
>iptables: Invalid argument
>ну не могу я понять в чем дело
>может кто подскажет что не так?

А сам модуль connlimit установлен в систему?
Не мешало бы указать удалённый адрес какой-нибудь (-d 1.2.3.4)
Опция --syn может иногда не срабатывать, лучше используй --tcp-flags.
--tcp-flags SYN,ACK,FIN SYN аналогичен --syn