Szia!
Ha pontosan írtad ide be a rule-t, akkor hibás a parancs.
Helyesen:
iptables -A INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 3 -J REJECT
Kimaradt az amikor betöltöd a connlimit module-t (-m connlimit).
Egyébként mit szeretnél pontosan ezzel a paranccsal?