Hey Collime,
wenn noch die original ATI Radeon HD 5770/5870 in deinem Mac Pro5,1 oder die NVIDIA GeForce GT 120 bzw. ATI Radeon HD 4870 in deinem Mac Pro4,1 verbaut sind, kannst du versuchen, ob der Wechsel von DVI auf auf mini DP eine Änderung/Verbesserung des fehlerhaften Verhaltens verursacht.
Wenn nicht, könnte es sein, dass die Grafikkarten aufgrund ihres Alters (Defekte Kondensatoren und Bauteile) und auftretender Probleme bei der Kühlung diese gelegentlichen Aussetzer zeigen.
Bei meinem 2008 Mac Pro3,1 bin ich von der defekten NVIDIA GeForce GT 8800 auf eine NVIDIA GeForce GTX 680 umgestiegen, die ich selbst auf einem Windows-PC geflashed habe und die problemlos unter MacOS El Capitan und den gepatchten MacOS Mojave und MacOS Monterey arbeitet...

Für den Fall einer defekten GraKa gibt es ein sehr umfassendes Angebot an originalen sowie bereits für den Mac Pro geflashten Grafikkarten bei Ebay und anderen Anbietern.
Liebe Grüße
Manfred