Como desativar a GUI no macOS?

Existe no MacOS, alguma forma de eu executar o sistema operacional sem a interface gráfica? Sem a interface Aqua, nem o compositor Quartz e também com menos bloatwares, somente com um terminal e com os serviços necessários?

Sei que é um caso de uso atípico, mas eu gostaria de fazer ele mais eficiente pra uso via SSH, já que os programas do Mac OS com interface gráfica tem pouca importância pra mim.

Eu já cogitei instalar Linux, mas pelo que eu pesquisei o estado do port ainda está muito cru e não tem os recursos necessários pra eu usar, especialmente se tratando de GPU.

Meu dispositivo é um Mac mini com SoC Apple M1.

[Título editado pelo Moderador]