DXOMARK lens testing protocol and scores

Für unsere DxOMark-Objektivbewertungen bewerten wir die Leistung von Wechselobjektiven für Kameras, die mit Sensoren ausgestattet sind, die Bilder im RAW-Format aufnehmen können. In diesem Artikel erklären wir, wie wir im DxOMark Image Quality Test Lab auf verschiedene Kriterien testen und wie sich die Testergebnisse in Subscores und den endgültigen DxOMark Lens Score übersetzen lassen.

Für unsere Tests montieren wir Objektive an Kameras und messen diese nach folgenden Kriterien:

  • Auflösung, abgeleitet von der MTF-Messung (Modulation Transfer Function)
  • Verzerrung und chromatische Aberrationen
  • Vignettierung
  • Lichtdurchlässigkeit (T-Stop)

Der DxOMark-Score für Objektive

Wir verwenden die Unterbewertungen für die obigen Kriterien, um den endgültigen DxOMark-Objektivwert zu berechnen. Die Punktzahl zeigt die Menge an Informationen, die vom Objektiv einer bestimmten Kamera erfasst werden, und wie gut Kamera und Objektiv zusammen funktionieren. Die Bewertung spiegelt jedoch nicht die intrinsische Qualität des Kamerasensors wider.

  • Der DxOMark Lens Score entspricht einem Durchschnitt der optimalen Informationsmenge, die die Kamera für jede Brennweite erfassen kann.Die Informationsmenge wird für jede Brennweite / Aperturkombination berechnet und die höchsten Werte für jede Brennweite werden gewichtet, um die Punktzahl zu berechnen.
  • Die DxOMark-Objektivbewertung basiert auf schlechten Lichtverhältnissen (150 Lux und 1 / 60s Belichtungszeit). Wir haben uns für diese Lichtverhältnisse entschieden, weil wir glauben, dass die Leistung bei schlechten Lichtverhältnissen in der heutigen Fotografie sehr wichtig ist und weil Fotografen wissen müssen, wie gut Objektive bei ihrer breitesten Blende funktionieren. Objektive mit einer hohen Blendenzahl sind in der Regel teuer und Fotografen möchten wissen, ob sich die zusätzlichen Kosten für die Leistung lohnen. Die Punktzahl berücksichtigt nicht die Schärfentiefe und berücksichtigt nur die Objektivleistung bei perfektem Fokus.
  • Der DxOMark Lens Score ist eine lineare Skala, die sich auf die größte Druckgröße bezieht und eine hervorragende Bildqualität bietet. Um die Größe des Drucks zu verdoppeln, muss der DxOMark-Score verdoppelt werden. Ein Score-Unterschied von weniger als 10% kann als irrelevant angesehen werden.
  • Der DxOMark Lens Score ist eine offene Skala, die durch die Objektiv- und Kameraauflösung sowie durch Sensorrauschen begrenzt ist. Da wir erwarten können, dass sich diese im Laufe der Zeit verbessern, wird der maximale DxOMark-Score mit der technologischen Entwicklung zunehmen.

Sie können hier mehr darüber lesen, warum wir unsere Tests auf das RAW-Bildformat stützen. Aber jetzt schauen wir uns die Setups und Methoden für die einzelnen Testkriterien genauer an und wie die Sub-Scores, die in die Endnote einfließen, berechnet werden.

MTF und Schärfe

Die Modulationsübertragungsfunktion (MTF) einer Kamera (Gehäuse und Objektiv) wird gemäß der ISO 12233-Standard-SFR-Methode gemessen (siehe MTF-Messdefinition). Das Ziel ist ein Muster aus weißen und schwarzen Quadraten, die in einem Winkel von 5 ° geneigt sind und das Feld der Kamera ausfüllen. DxO Labs entwarf das Target und produzierte es mit einem hochauflösenden Drucker, um scharfe Übergänge zwischen schwarzen und weißen Bereichen ohne Aliasing zu erzielen. Das Target ist an einem Rahmen aus Aluminiumprofilen befestigt, um der Target-Baugruppe die notwendige Steifigkeit zu verleihen.

Das Ziel wird gleichmäßig mit Halogenlampen beleuchtet, die gefiltert werden, um eine Tageslichtfarbtemperatur von 5500K bereitzustellen.

Um absolute Stabilität zu gewährleisten und Bewegungsunschärfe zu vermeiden, ist die Kamera auf einem Getriebestativkopf montiert, der an einem robusten Studiostativ befestigt ist. Eine abgestufte Schiene auf Kugellagern ermöglicht eine sehr genaue Einstellung des Abstands zwischen Kamera und Ziel. Um Vibrationen zu minimieren, verwenden wir die Reflexspiegelverriegelungsfunktion, wenn verfügbar, und lösen den Auslöser mit einer Fernbedienung oder dem Selbstauslöser aus. Vor der Aufnahme stellen wir sicher, dass der Kamerasensor und die Zielebene parallel sind, indem wir einen Spiegel verwenden, der bündig gegen das Ziel gerichtet ist. Eine perfekte Ausrichtung wird erreicht, wenn das reflektierte Bild des Objektivs in der Mitte des Kamerasuchers erscheint.

Das reflektierte Bild des Objektivs in der Mitte des Kamerasuchers zeigt eine perfekte Ausrichtung an.

Wir wählen die niedrigste tatsächliche ISO-Geschwindigkeit der Kamera, um Bilder mit einem minimalen Rauschpegel aufzunehmen. Wir stellen die Belichtung so ein, dass die weißen Quadrate des Ziels im RAW-Format knapp unter der Sensorsättigung liegen, um sicherzustellen, dass die gesamte Dynamik des Sensors genutzt wird. Selbstverständlich deaktivieren wir alle Schärfoptionen und Stabilisierungssysteme der Kamera oder des Objektivs. Für jede Brennweite und Blende des Objektivs nehmen wir Bilder in 60 verschiedenen Fokussierpositionen um den vom Autofokussystem der Kamera festgelegten Fokussierpunkt auf. Wir verwenden dann das schärfste Bild, um die MTF der Kamera zu messen.

Wir verwenden diese Ergebnisse, um den DxOMark Resolution Score zu generieren. Der Score stellt die Schärfeperformance einer Objektiv-Kamera-Kombination über deren gesamte Brennweite und Blendenbereiche gemittelt dar und wird wie folgt berechnet:

Für jede Brennweite und jede Blendenzahl wird die Schärfe berechnet und über das Bildfeld gewichtet, wobei die Ecken weniger kritisch sind als die Bildmitte. Dies ergibt eine Zahl für jede Brennweite / Apertur-Kombination. Wir wählen dann für jede Brennweite den maximalen Schärfewert aus dem Blendenbereich. Diese Werte werden dann über alle Brennweiten gemittelt, um den DxOMark-Auflösungswert zu erhalten, der in P-MPix (Perceptual Megapixel) angegeben wird.
Es ist erwähnenswert, dass bei Objektiven mit einem großen Zoombereich die Unterschiede zwischen der Schärfe bei verschiedenen Brennweiten erheblich sein können. Bei den meisten Objektiven liegt die Schärfe in P-Mpix typischerweise zwischen 50% und 100% der Sensorpixelzahl, und Unterschiede von weniger als 1 P-MPix sind normalerweise nicht erkennbar. Die besten Auflösungen werden in der Regel mit Festbrennweiten zwischen f/2,8 und f/8 erreicht.

Verzerrung, Ökobilanz und Vignettierung

Wir messen laterale chromatische Aberration (LCA) und Verzerrung auf dem DxO Labs Dot Chart, einem Muster aus regelmäßig verteilten schwarzen Punkten auf einem Glasträger. (Wir haben Glas wegen seiner Ebenheit und Formstabilität gewählt.) Die auf dem Diagramm gedruckten Punkte sind kreisförmig und perfekt ausgerichtet, um ein Raster zu bilden.

DxO Labs Dot Chart wird verwendet, um Verzerrung, Ökobilanz und Vignettierung zu messen.

Wir messen die Vignettierung mit dem weißen Hintergrund des gleichen Punktdiagramms. Vor der Aufnahme richten wir den Kamerasensor auf der Zielebene aus und überprüfen die Gleichmäßigkeit der Beleuchtung, um sicherzustellen, dass sie innerhalb der Grenzen von +/-4% bleibt. Um die Genauigkeit der Vignettierungsmessung zu erhöhen, verwenden wir eine kalibrierte Kamera-Objektiv-Kombination, um die tatsächliche Beleuchtungsgleichmäßigkeit des Diagramms zu charakterisieren. Wir stellen die Farbtemperatur auf 5500K ein (entsprechend Tageslicht).

Wir machen ein Bild bei jeder Brennweite und Blende. Die Kamera bleibt in der gleichen Aufnahmeentfernung, um den gleichen Diagrammbereich einzurahmen, was bedeutet, dass die Beleuchtung des Diagramms für jede Brennweite und Blende identisch ist. Schließlich zeichnen wir zwei zusätzliche Belichtungen bei jeder Brennweite und bei zwei verschiedenen Zielentfernungen auf. Für diese Aufnahmen fokussieren wir das Objektiv auf unendlich, um die effektive Brennweite (EFL) zu berechnen.

Wir berechnen den absoluten Wert der maximalen Verzerrung über den Brennweitenbereich, um den DxOMark-Verzerrungswert zu berechnen (Verzerrung ist unabhängig von der Blende). Zoomobjektive neigen dazu, negative (tonnenförmige) Verzerrungen für kurze Brennweiten und positive (Nadelkissen-) Verzerrungen für längere Brennweiten zu haben. Unsere Punktzahl bestraft beide Arten von Verzerrungen. Die Verzerrung wird als Prozentsatz ausgedrückt, wobei Null der perfekte Fall und 1% hoch ist. Es gibt jedoch keine Obergrenze. Ein Wert von 0,2% würde eine spürbare Verzerrung anzeigen. Es ist auch erwähnenswert, dass Weitwinkelobjektive typischerweise mehr Verzerrungen aufweisen als längere Objektive.

Um den chromatischen Aberrations-Score zu berechnen, normalisieren wir zuerst die gemessenen Werte (Skalierung auf einem 24x36mm Sensor) und gewichten sie über das Bildfeld für jede Brennweite und Blende. Geringe Abweichungen in den Bildecken werden toleriert. Für jede Brennweite wählen wir den größten Aberrationswert im Blendenbereich aus und mitteln sie dann über alle Brennweiten, um den endgültigen DxOMark chromatischen Aberrationswert zu berechnen. Chromatische Aberrationen werden in Mikrometern (µm) ausgedrückt. Der perfekte Wert ist 0; Ein Wert von 30 wäre sehr hoch, aber es gibt keine Obergrenze. Ein Wert von 5µm macht sich bemerkbar und entspricht bei den meisten Kameras etwa 1 Pixel.
Bei der Berechnung des DxOMark Vignetting Score berücksichtigen wir nur die größtmögliche Blende. Wir gewichten die Werte über das Bildfeld, mit mehr Toleranz für Vignettierung in den äußersten Ecken. Anschließend werden die einzelnen Werte für jede Brennweite gemittelt, um den endgültigen DxOMark-Vignettierungswert zu generieren. Vignettierung wird in Exposure Value (EV) ausgedrückt und ist eine negative Zahl, da sie einen Expositionsverlust beschreibt. Überhaupt keine Vignettierung (0 EV) ist perfekt. Objektive mit sehr breiter Apertur zeigen wahrscheinlich mehr Vignettierung (oft höher als 2 EV). Variationen unter 1/3 EV sind kaum wahrnehmbar.

Lichtdurchlässigkeit

Die photometrische Apertur, auch bekannt als “T-Stop” (T = Transmission), ist die um ihren Transmissionsverlust korrigierte Apertur des Objektivs (siehe Definition Lichtdurchlässigkeit). Um die Lichtdurchlässigkeit zu messen, nehmen wir ein Bild von einem gleichmäßig beleuchteten (+/-1%) opaleszenten Transmissionsziel auf.

T-Stopp-Messaufbau.

Wir haben die Lichtquelle wegen ihrer bemerkenswerten Stabilität ausgewählt. Es ist genau die gleiche Quelle wie für unsere ISO-Geschwindigkeitsmessung: Eine Halogenlampe, die gefiltert wird, um eine Tageslichtfarbtemperatur von 5500K zu erreichen. Dies ist erwähnenswert, da wir ISO-Empfindlichkeitswerte in der T-Stop-Berechnung verwenden. Wir messen die Leuchtdichte der Streufläche (ca. 140 cd/m2) mit einem zertifizierten Leuchtdichtemessgerät. Wenn wir den Eintrittslichtstrom, die Sensorreaktion und die Verschlusszeit kennen, können wir dann die T-Blende des Objektivs für eine bestimmte Fokussierentfernung berechnen.

Wir platzieren die Kamera in einem Abstand, der dem 40-fachen der Brennweite des Objektivs entspricht (z. B. 2 Meter für ein 50-mm-Objektiv). Wir machen ein Bild für jede Blende des Objektivs in Schritten von mehreren Stufen.

Um den Transmissionswert zu berechnen, messen wir die T-Blende bei der größtmöglichen Apertur iat jeder Brennweite. Wir mitteln dann diese Werte über den Brennweitenbereich, um das Endergebnis zu berechnen. T-Stops sind den Objektiv-Blendenstufen insofern sehr ähnlich, als kleinere Zahlen mehr Licht bedeuten und Festbrennweiten die beste Transmission erzielen. Zoomobjektive können bei langen Brennweiten normalerweise keine sehr großen Blendenöffnungen haben. T-Stops haben einen indirekten Einfluss auf die Bildqualität, da sie normalerweise die automatische Belichtung der Kamera verändern. Ein Objektiv mit geringer Transmission kann längere Belichtungszeiten und möglicherweise Bewegungsunschärfe oder eine höhere ISO-Empfindlichkeit und einen höheren Geräuschpegel erfordern als ein Objektiv mit hoher Transmission. Abweichungen unter 10% sind nicht erkennbar.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.