Os contatos ficam salvos no seu ID Apple independente se voce restaurar backup ou nao
Acredito que voce tenha esse contatos salvos em contas de e-mail que estava no seu aparelho
Veja se esse artigo te ajuda iCloud: Restaurar seus contatos, calendários e lembretes ou favoritos
Espero ter ajudado!
Atenciosamente,
Vinicius De Moraes