Como o espelhamento do iPhone aparece normalmente na Roku TV e o erro só surge quando você dá play no vídeo pelo app Apple TV, isso indica que o AirPlay em si está funcionando. O problema está mais provavelmente na reprodução daquele conteúdo protegido/formato de vídeo pela Roku.
A própria Apple informa que alguns apps de vídeo podem não ser compatíveis com AirPlay, mesmo quando o espelhamento de tela funciona normalmente.
Eu faria estes testes:
Em vez de usar Espelhamento de Tela, abra o vídeo no app Apple TV do iPhone e procure o botão AirPlay dentro do próprio player. Selecione a Roku diretamente por ele.
Veja se sua Roku possui o app Apple TV instalado. Se tiver, prefira abrir o conteúdo diretamente nele e entrar na mesma Conta Apple. A Apple oferece o app Apple TV para dispositivos de streaming compatíveis.
Atualize o software da Roku TV e o iPhone. A Apple recomenda manter ambos atualizados quando há falhas de AirPlay.
Reinicie completamente a Roku, não apenas desligando a tela: use a opção de reinicialização do sistema ou retire-a da tomada por alguns segundos.
Teste outro conteúdo no Apple TV, de preferência um título diferente.
O motivo de isso acontecer especificamente com filmes e séries é que esse conteúdo pode envolver DRM/HDCP e formatos como 4K, HDR ou Dolby Vision. O app Apple TV escolhe automaticamente a melhor qualidade compatível com o dispositivo, mas podem existir incompatibilidades na cadeia de reprodução.
Se YouTube, Fotos e a tela inteira do iPhone funcionam, mas qualquer filme ou série do app Apple TV dá “Este formato de vídeo não é compatível com este dispositivo”, eu não redefiniria mais os ajustes do iPhone. Nesse cenário, o foco passa a ser compatibilidade/firmware da Roku ou o método pelo qual o conteúdo protegido do Apple TV está sendo transmitido.