hm. leg mal den port um auf dem dein ssh-server lauscht. dann schau mal, was passiert, ob er es aufgibt oder ob er deinen neuen port rausfinden will. dazu braucht er wohl einen portscanner.
wenn dein server auf port 22 lauscht, dann ist das standard. mit nmap kann man einfach ein komplettes netzwerk scannen ohne dass diverse paketfilterregeln bzw. portscanner-detektoren anspringen. viele paketfilter-regeln und detektoren funktionieren nach anzahl der pakete innerhalb eines bestimmten zeitabstands um entsprechend zu reagieren. wenn man nun nmap die optionen übergibt, dass dieser ein komplettes netzwerk scannt, allerdings bei jedem rechner nur port 22 testet, so werden einige hosts diese portscans nicht entdecken, da nur ein einziger port in dem bestimmten zeitabstand gescannt wird. jedes ergebnis, welches der "hacker" als positiv einstufen kann, ist ein laufender ssh-server auf dem standard-port. wenn du deinen port von 22 z.b. auf 15834 änderst, so bist du zumindest vor solchen scans geschützt. so weit so gut.
was ist aber wenn direkt dein server nach offenen ports gescannt wird? dann bist du mit einem so hohen port relativ gut geschützt, sofern du deinen paketfilter entsprechend mit limits ausstattest bzw. portsentry (z.b.) installierst und entsprechend konfigurierst. portsentry kann z.b. dynamisch paketfilterregeln schreiben, die einen scannenden host blocken. wenn alles entsprechend konfiguriert ist, braucht es entweder großen zufall, dass der angreifer deinen port schnell entdeckt oder sehr viel zeit, da er selbst mit der "Sneaky"-Timing-Policy von nmap Tage/Wochen braucht um deinen hohen port zu entdecken. aggressivere scan-timing-policies (z.b. insane) werden von portsentry bzw. vom paketfilter verhindert.
wenn er gut und schlau ist ist das zwar keine unüberwindbare hürde, aber falls das n script-kiddy oder ähnliches ist, könnte das dein problem beseitigen.