Fotos aktualisiert die Statusanzeige nicht sofort. Die Zahl der gescannten Fotos kann in Wahrheit tagelang schon viel weiter sein als angezeigt.
Allerdings kann es vorkommen, dass Fotos hängt, wenn die Mediathek ein Video oder ein Bild enthält, das in einem Format ist, das unter macOS 11 nicht mehr gelesen werden kann. Überprüfe doch einmal systematisch, ob du alle Videos, Live Fotos, und Bilder lesen und bearbeiten kannst. Hast du sehr alte Videos in der Mediathek? Oder Bilder in einem Format, das nicht JPEG oder ein unterstütztes RAW Format ist?
Ich orientier mich an der Liste für iMovie, um mit intelligenten Alben nach potentiell inkompatiblen Objekten zu suchen - diese könnten auch in Fotos Probleme machen: Informationen zu inkompatiblen Medien in iMovie für macOS - Apple Support (DE)