Ich antworte mir hier mal ein Stück weit selber:
Ich habe 3 Homepods und einen Apple TV. Am Apple TV ist mir später aufgefallen dass dieser bei den Einstellungen anzeigt "Konfiguration abschließen". Das hat in Verbindung mit dem iPhone nicht geklappt. Es kam der Fehler "Konfiguration fehlgeschlagen (301024)". Danach dachte ich mir, der Übertäter müsste somit doch der Apple TV sein und habe ihn zurückgesetzt. Das hätte ich mir sparen können, es hat nicht geholfen.
Zu guter Letzt habe ich mich dann doch dazu entschieden die Konfiguration in der Home App zurückzusetzen. Bis dann alle Geräte, Szenen, Automationen, Homebridges etc. eingerichtet waren war dann der Sonntag rum. Hätte mit der Zeit auch gerne was besseres angefangen, sehr schade dass es zu solchen Problemen kommen kann.