Öffne mal die App Kontakte und tippe oben links auf 'Gruppen'. Hast du da mehrere verschiedene Gruppen (möglicherweise sogar aus verschiedenen Quellen)? Wenn ja, versuche mit ausblenden einzelner Gruppen herauszufinden, ob so Doppelspurigkeiten verschwinden.
Klappt der obere Tipp, kannst du in den Einstellungen die Kontakte im entsprechenden Mailaccount deaktivieren (iCloud würde ich jedoch immer eingeschaltet lassen, der Datensicherheit zuliebe).
Klappt der obere Tipp nicht, wirst du wohl keine andere Wahl haben, als die Kontakte zu verbinden (Kontakt öffnen, auf Bearbeiten und ganz nach unten scrollen) oder einzeln zu entfernen.