Una solución sencilla que se me ocurre es fusionar tus contactos de iCloud y Yahoo,
En un iPhone ( en mac es similar )
en la app ajustes > contactos > cuentas > añadir cuenta,
allí podrás agregar tu cuenta de Yahoo!, para que tus contactos aparezcan deberás hacer este proceso en todos los dispositivos Apple en los que quieras ver tus contactos de Yahoo!.
Desde un Mac se que puedes abrir la app contactos y en el apartado de Yahoo! Selecciona un contacto luego Comando + A y arrastra estos contactos al apartado de iCloud después ya podrás cerrar sesión de Yahoo si quieres.