Gostaria de recuperar somente os contatos de um backup, como faço?

Os contatos geralmente ficam sincronizados em uma conta, seja sua propria conta iCloud, ou um Gmail ou Outlook.

Apenas inicie o iPhone sem restaurar nenhum backup, e coloque de volta todas as contas que costuma usar, uma delas irá restaurar seus contatos.