Priorisierung der Steuerzentralen oder HomePod mini deaktivieren?

Ich habe (leider) mehrere Steuerzentralen aktiv und ein per WLAN verbundener HomePod mini ist dummerweise immer "Verbunden" bzw. hat die Kontrolle, während das AppleTV 4k, per Ethernet verbunden immer im "Standby" ist -> maximal unsinnig. Die nicht ganz überraschende Folge davon ist, dass mein HomeKit System äußerst instabil läuft, Geräte immer wieder nicht reagieren oder in der Home App gleich mit "keine Antwort" deaktiviert sind. Ziehe ich dem HomePod mini den Stecker, übernimmt das AppleTV und alles läuft tagelang super. Aber wenn der HomePod wieder eingesteckt wird, bricht nach spätestens 1-2 Stunden alles wieder zusammen. Mega nervig - aber technisch durchaus nachvollziehbar. Leider kann man dem HomePod nicht austreiben, Steuerzentrale spielen zu wollen.

Was kann ich tun, außer den HomePod mini wegzuwerfen?