In der Tat es kann tagelang dauern, wie Racerbaer geschrieben hat. Aber du könntest auch Objekte in der Mediathek haben, die problematisch sind.
Überprüfe mal die Statusleiste in Fotos unter dem Reiter "Alle Fotos". Da siehst du, wieweit Fotos mit dem Hochladen der Fotos ist, und ob es Objekte gibt, die nicht mit iCloud kompatibel sind. Nicht alle Objekt aus der Mediathek können eventuell in die iCloud hochgeladen werden. Wenn du Objekte in der Mediathek hast, die ungeeignet für iCloud sind, können sie das Hochladen der anderen Bilder und Videos blockiert, bis man die ungeeigneten Bilder und Videos entfernt oder in ein anderes Format konvertiert hat. Beispielsweise können verknüpfte Dateien generell nicht in die Cloud hochgeladen werden. Audio Dateien können nicht hochgeladen werden. Unter Catalina kann Fotos keine PDFs mehr importieren. Ältere Videoformate sind nicht mehr kompatibel.
Das ist hier beschrieben: Informationen zur Statusleiste in Fotos für macOS - Apple Support
Insbesondere lege bitte mal die beiden intelligenten Alben an, die dort vorgeschlagen werden. Sind diese intelligenten Alben leer, wie sie sein sollten?
Welche Systemversion hast du installiert?