Muy bien, ya tengo la solución a tu problema.
Primero aclarar algo, cuando usas la opción de agregar carpetas a iTunes en realidad lo que estás haciendo es añadir toda la música que se encuentra en esas carpetas en ese momento. Es decir, si más adelante añades más canciones a esas carpetas, estas no se añadirán a tu biblioteca de iTunes de forma automática.
Teniendo claro el punto anterior, la manera de eliminar la música que has añadido con esas carpetas es la siguiente.
Como paso 1 deberás ir hacia el Menú "Canciones" como se indica en la imagen:

Paso 2: Haz click derecho sobre la barra de ordenamiento para desplegar una lista de opciones

Paso 3: Selecciona para habilitar "Fecha en la que se agregó"

Paso 4: Ahora verás que aparece la fecha en la que se agregó cada canción, si clickeas encima de donde dice ahora "Fecha en la que se agregó" te las ordenará de más reciente o de más antigua.

Con esto ahora podrás ver y buscar las que agregaste en algún momento en específico (de una carpeta por ejemplo) si es que la fecha coincide en su totalidad (ya que te muestra hasta los minutos).
Espero esto resuelva tu problema. Saludos!