Wie funktioniert die Bilderkennung

Das einzige, was Apple dazu verraten hat, ist, dass künstliche Intelligenz verwendet wird.

Es gibt viele Verfahren, Objekte, Tiere, Personen, Szenen zu erkennen und den Bildinhalt zu verstehen. Die meisten Verfahren gehen auf neuronale Netzte zurück, aber für manche Probleme wird auch Wissensrepräsentation und logisches Schlussfolgern benötigt, beispielsweise Beschreibungslogiken.

Wir können nur indirekt aus den Fehlern, die auftreten, versuchen das Verfahren zu erraten. Da gelegentlich Bilder von Nashörnern angezeigt werden, wenn ich nach "Elefant" suche, tippe ich auf Neuronale Netze für die Objekterkennung.

Ein paar typische kleine Fehler, wo falsch-positive Ergebnisse angezeigt worden sind:

Aber verzeihliche "near-misses" 😀

Die Objekterkenning und Szenenerkennung sind sehr rechenaufwendig, selbst mit schnellen Macs kann es sehr lange dauern, bis eine grosse Mediathek gesinnt worden ist.

Fotos analysiert jedes Bild, erkennt die Objekte und Personen, versucht den Zusammenhang zu verstehen, ob es sein Konzert, eine Familienfeier, eine Verkehrsszene ist, usw. Und Siri trägt das Wissen aus den Kontakten dazu bei, so dass Fotos auch erkennen kann, um wessen Geburtstag es sich handelt, oder dass das ganze bei unserer Oma zuhause war.