¿Estás clasificando fotos desde el Finder? me temo no estás usando las herramientas adecuadas.
Tus miedos están más que justificados. Las etiquetas y la información extra los ficheros del Finder (comentarios, etiquetas) se guardan como atributos extendidos (no estándar) y si las mueves a otro disco duro que no tenga el formato adecuado perderás esa información. De hecho en la próxima versión del sistema Apple va a cambiar el formato del disco duro y no tengo claro que los atributos extendidos vayan a migrarse.
Deberías utilizar aplicaciones destinadas a ese efecto: Fotos, Lightroom, Bridge o algunas más que hay por ahí para la organización de fotografías.
No digo que con las etiquetas pueda servir para lo que dices, pero a nadie conozco que organicen un archivo docmental con el Finder. Yo te diría que además de por lo anterior es que cargas demasiado a spotlight y te estará constantemente ofreciendo resultados que nada tienen que ver con el trabajo diario.
Además los programas como Fotos ya hacen reconocimiento inteligente de lo que hay en las fotos (buscar paisajes, perros, etc y veréis a que me refiero) además de las famosas "caras", geolocalización, etc...
Si te puedo comentar algo más no dudes en decirlo.