Hola ivaansome!!
Si tienes que mover la conexión para que funcione bien, y has probado los auriculares en otro dispositivo, es posible que el adaptador tenga algún fallo que provoca el contacto defectoso.
Como los accesorios también tienen garantía, llévalo a revisar a un Apple Store o servicio autorizado. En esta web de Apple: Tiendas Apple Store y Distribuidores autorizados de Apple, encontrarás el más cercano a tu región. Si no tienes uno cerca, contacta con el soporte técnico de Apple para obtener ayuda. Desde este enlace puedes hablar con ellos: Contactar con el Soporte técnico de Apple. Escoge tu región en la zona inferior de la página.
Y aquí: Ponerse en contacto con Apple, están los teléfonos del soporte técnico de Apple en todo el mundo. Llama al más cercano a tu región.
Ya nos contarás que tal te ha ido.
Saludos!!