Hola Leonardmo !!
Borrarlos los tendrás que borrar uno a uno, pero puedes ocultar o mostrar grupos de contactos.
Comprueba los grupos de contactos que se muestran en tu iPhone. Lo podrás ver desde la app Contactos o desde la pestaña Contactos de la app Teléfono. Pulsa en Grupos de arriba a la izquierda y aparecerán los grupos de contactos que se pueden mostrar. Puedes mostrar u ocultar los de iCloud, los de redes sociales, o los de cuentas de correo que tengas configuradas.
Prueba y nos cuentas.
Saludos!!