Os contatos geralmente ficam sincronizados em uma conta, seja sua propria conta iCloud, ou um Gmail ou Outlook.
Apenas inicie o iPhone sem restaurar nenhum backup, e coloque de volta todas as contas que costuma usar, uma delas irá restaurar seus contatos.