Inzwischen ist es gelöst.
Nach vielen Umwegen bin ich beim Apple Support an den Richtigen der Enterprise Abteilung gelangt.
Falls sonst noch jemand nach dieser Lösung sucht hier der Weg:
- bestehende Server-App, bei mir war es die Version 5.3, und in der Macintosh HD/Library den Ordner «Server» löschen
- Papierkorb leeren
- System neu starten
- vergewissern, dass die vermeintlich gelöschen Sachen (Pkt. 1.) auch wirklich gelöscht sind.
- App Store-App öffnen und unter «Käufe» die Server App aufsuchen. Die müsste rechts die Taste «INSTALLIEREN» anzeigen.
- «macOS Server» installieren. Es wird die richtige, passende Version (5.6.3) runtergeladen und installiert.
- System neu starten
Bei mir hat's so bestens geklappt.
Es wäre schön, wenn Apple einen Support-Artikel für sowas erstellen würde.
Das sind Sachen die nicht einfach selbsterklärend sind.