http://www.liquidweb.com/kb/changing-the-ssh-port/
A szolgáltatást kellett volna restartolni, nem újraíndítani, de ez valami bug lesz, én inkább a 12.04-et tenném fel a helyedben azt állítanám be, majd pár hónap múlva frissítenék ha nagyon muszáj addig mindent kijavítanak ami esetleg benne maradt hibaként.
https://www.digitalocean.com/community/articles/initial-server-setup-with-ubuntu-14-04
http://www.youtube.com/watch?v=So89EvoQeQY
http://linuxlookup.com/howto/change_default_ssh_port
http://forums.spry.com/centos-fedora-redhat/98-change-ssh-port.html
http://www.cyberciti.biz/faq/centos-change-ssh-port/