Lo primero, como has llegado a la conclusión que quieres poner un MacOSX Server?
Poca experiencia tengo en MacOSX Server, algunos he instalado y siguen funcionando desde hace uno 8 años...
Dices que no tienes experiencia en Mac, pero tienes experiencia en servidores, no?.
Los requisitos para los servidores dependen de los requisitos de la empresa (cantidad de equipos conectados, calidad de red, ancho de banda necesario, uso que se le va a dar: impresoras, ficheros (tamaño de estos), internet... servicios que ofrecerá (DHCP, DNS, control de usuarios)... no importa tanto el sistema. El sistema lo que te va a dar son las funcionalidades del servidor y de la red.
La documentación y foros sobre MacOSX Server es limitada comparada con otras plataformas así que si no eres usuario con experiencia yo empezaría instalandome uno por mi cuenta y hacer todas las pruebas y simulaciones oportunas con un pequeño mini y luego lo escalas como necesites.
Y sin tener experiencia es más fácil encontrar toda la información necesaria para montar un Ubuntu Server o un Debian, y esos si que son sistemas orientados a servidores, mucho más que un MacOSX Server.
Sobre el hardware con los antiguos MacPros se podían hacer muchas cosas, hoy por hoy con el hardware que tiene Apple solo un mini hipervitamitaminado puede servir de servidor. Un iMac descargado por la pantalla y un MacPro porque las gráficas son para otra cosa y tendrás una máquina cara e infrautilizada. Pero como te digo dependerá de lo que vayan a necesitar.
Pero las necesidades de un Servidor van cambiando con lo que es bueno que la máquina sea ampliable, cosa que con un mini es limitado.