Para eso no necesitas macOS Server, habilita un en mac normal el acceso por SSH, e instala alguna app en el móvil que permita conectarte mediante SSH a un equipo.
Y para hacerlo desde cualquier sitio deberás abrir los puertos oportunos en el router y dirigirlos a la IP del macmini.
Esta captura es de un macOS un poco viejo, pero la opción es la misma, sesión remota. Eso te permitirá conectarte a tu carpeta de usuario desde el exterior.