Mivel minden tcp kapcsolathoz tartozik egy file descriptor, a file descriptorok maximalis szama meg fogja meghatarozni a maximalis tcp kapcsolatok szamat. A file descriptorok szamat sysctl-el kontrollalhatod (fs.file-max), ennek limitje a rendelkezesre allo memoriatol fugg.
Ha csak korlatozni szeretned, akkor a netfilter limit moduljai finomabb eszkozok. Ha tuning celjabol keresgelsz, akkor sok mas dolog is erdekelhet, keressel tcp tuning opciokat a google-n.