He dado con ello, qué difícil jeje, en este enlace viene la explicación, es que está en Accesibilidad:
Cambiar los ajustes de Pantalla para accesibilidad en el Mac - Soporte técnico de Apple (ES)
Y es justo esto:
Mostrar formas de botones de barra de herramientas
Muestra un sutil borde alrededor de los botones de la barra de herramientas para indicar el área en la que hacer clic al seleccionar un botón de la barra de herramientas.
Entonces en accesibilidad debes de desplazarte hasta que veas esto:

Lo desactivas y ya no tendrá contorno, al menos así me ha hecho a mi. Ya nos cuentas.
Un saludo.