Portal DxOMark od lat wzbudza kontrowersje. Niektórzy zarzucają mu stronniczość, inni brak profesjonalizmu, jeszcze inni oskarżają o płatne recenzje. Niektóre recenzje bolą fanów danej marki, inne po prostu wzbudzają nieufność. Jak jest w istocie?
Kilka dni temu szerokim echem odbiła się publikacja testu niezbyt już nowego smartfona LG G7 ThinQ. Mówiąc w skrócie, możliwości optyczne tego telefonu zostały zrównane z ziemią, a, patrząc na punktację, powinniśmy go raczej unikać. Lepsze efekty osiągniemy sprzętem nawet kilkuletnim. Od razu podniosły się głosy, że sprzęt wypadł słabo, bo LG nie współpracuje z DxOMark:
Nie płacimy, wróć, nie kupujemy ich sprzętu laboratoryjnego…
— Jarek Bukowski (@bukosss) October 18, 2018
CZYM JEST DXOMARK?
Odpowiedzmy sobie najpierw na pytanie czym jest DxOMark. Na pewno nie jest to instytucja charytatywna czy portal blogerski. Jest to prywatna firma konsultingowa, zarabiająca na dwóch rzeczach: doradztwie w zakresie optyki oraz sprzedaży zestawów DxO Analyzer, kompleksowych rozwiązań do badania jakości w produkowanych zestawach optycznych czy kamerach telefonów.
Oczywiście nie ma nic złego w prowadzeniu takiej formy działalności. Dostarczanie wysokiej klasy zestawów laboratoryjnych służy poprawie jakości w całej branży. Niektórzy jednak zapominają o tym, że DxOMark jet firmą komercyjną, traktując jej oceny niemal jak wyrocznię. Wpływ, jaki DxOMark ma w mediach prowadzi do tego, że coraz więcej producentów korzysta z rozwiązań konsultacyjnych i sprzętowych w celu poprawy jakości oferowanych przez siebie produktów.
Rodzi to pewien dylemat natury moralnej. Czy przypadkiem nie jest tak, że firma nie pobiera żadnych opłat za recenzje, o czym sama wielokrotnie publicznie wspominała, ale z drugiej strony, jeśli ktoś chce dobrze wypaść w testach laboratoryjnych DxO, to „dobrze by było”, gdyby miał odpowiednio skalibrowany sprzęt pod kątem tych testów? Znamy przypadki, gdzie firmy odpowiednio optymalizują i podkręcają oprogramowanie po to, by osiągnąć nieco lepsze wyniki w różnego rodzaju benchmarkach. Problemem nie będzie więc rzetelność testów, bo te, powiedzmy, wykonywane są na dużych próbach, ale nastawienie samych producentów telefonów, którzy zrobią wszystko, by osiągnąć o kilka punktów więcej.
Pytanie też na czym polegają płatne konsultacje i w jakich aspektach wpływają na końcowy wynik oceny? Jeśli firma sprzedaje informacje nie tylko, co ocenia, ale jak ocenia i co trzeba poprawić, by wyniki były lepsze, to czy takie działania są fair? Nie mi to oceniać. Przyjmijmy, że działania konsultingowe DxOMark są transparentne i rzetelne. Gdyby nie były, firma straciłaby sporo na swojej wiarygodności i na potencjalnych zyskach.
Paradoksalnie problemem DxOMark stała się też jego pozycja. Producenci i media branżowe eksponują każdą nową publikację niczym pochodzącą z ust Pytii. Media same nakręcają histerię wokół prezentowanych wyników, tak jakby nie było innych benchmarków, a ocena DxOMark była całkowicie niepodważalna i przejrzysta.
JAK TESTUJE DXOMARK?
Spójrzmy na drugi aspekt krytyki DxOMark. Jak są prowadzone testy i czy wyniki są do końca wiarygodne? Wiele osób zarzuca portalowi, że oceny biorą się znikąd, podczas gdy na samej stronie w miarę dokładnie opisano procedury testowe. DxOMark każdorazowo ocenia próbkę ponad 1500 zdjęć i kilkaset RAW-ów, o ile są dostępne, do tego co najmniej 2 godziny filmów wykonanych w różnych warunkach oświetleniowych. Testy mają charakter laboratoryjny, a próbki pobierane są w różnych warunkach.
Ocena ogólna możliwości optycznych danego smartfona to średnia ważona dwóch składowych: oceny możliwości fotograficznych oraz możliwości wideo. Każda z tych ocen to z kolei wynikowa ocen cząstkowych, obejmujących ekspozycję, autofokus, szczegółowość, odwzorowanie barw itd, każdorazowo wykonywanych w różnych warunkach oświetleniowych. Procedura oceny możliwości jest więc mocno zaawansowana, ale też nie do końca przejrzysta. Portal nigdzie nie zamieścił tak podstawowej informacji, jak wagi poszczególnych ocen cząstkowych. Może być więc tak, i czasami jest, że smartfon z wyższym wynikiem ogólnym wykonuje słabsze zdjęcia od innego urządzenia, bo jego ocenę ogólną zawyża ocena możliwości wideo.
Ocena ogólna DxOMark nie odzwierciedla wyłącznie możliwości fotograficznych, co wiele osób i recenzentów pomija. Dla przykładu HTC U12+ oraz Samsung Galaxy Note 9 otrzymały identyczną ocenę ogólną 103 pkt. Czy wykonują identyczne zdjęcia? Oczywiście, że nie. Ocena HTC U12+ to składowa 106 za zdjęcia i 95 za filmy, natomiast Samsung Galaxy Note 9 odpowiednio 107 i 94 pkt. Note 9 wypada więc o oczko wyżej w ocenie możliwości fotograficznych. Czyli jest lepszym rozwiązaniem…? I znowu nie do końca. Jeśli spojrzymy na oceny składowe, to okaże się, że HTC U12+ ma dużo wyższą ocenę za jakość kolorów, autofokus, jakość tła, mniejszą ilość artefaktów, lepszy flash. Dlaczego Samsung Galaxy Note 9 mimo wszystko wygrywa? Bo ma aż 16 pkt więcej za zoom i 4 pkt za brak szumów oraz ekspozycję.
Widzimy więc pierwszy problem: ocena ogólna DxOMark wcale nie oznacza, że dany smartfon jest lepszy lub gorszy optycznie. I, jeśli weźmiemy pod uwagę tylko ocenę „Photo”, to analiza składowych może dać nam całkowicie inny obraz danego urządzenia. Jeśli nie interesuje nas zoom, to HTC U12+ wygrywa w kluczowych parametrach. Zresztą, dwie ostatnie składowe tj. zoom i bokeh wprowadzono dopiero niedawno i doprowadziło to do lekkiej konsternacji w branży. Zarzucano wtedy, że składowe te wprowadzono specjalnie po to, by „podbić” oceny nowych smartfonów z teleobiektywami. Mówiąc dosadniej: zmieniono parametry oceny „przypadkiem” tuż przed premierą iPhone’a 7 Plus.
W tym miejscu można postawić faktyczny zarzut. Nawet jeśli procedury oceny są rygorystyczne i laboratoryjne, to przyjęty zakres składowych oraz ich wagi zaburzają obraz możliwości optycznych danego urządzenia. DxOMark ocenia dodatkowe funkcje cyfrowego bokeh, ale nie daje dodatkowych punktów za szeroki kąt czy fotografię czarno-białą. Ocenie podlega aparat w trybie auto podczas gdy wyróżnikiem np. LG V30 jest tryb manualny wideo z filtrami CineVideo czy też możliwość zapisu do plików Cine Log. DxOMark pomija więc funkcje profesjonalne. LG G6 w automacie może robić słabe zdjęcia, ale w trybie ręcznym dostajemy nowe możliwości. Podobnie jak po aktualizacji ThinQ z tego roku, która diametralnie zmieniła możliwości tego telefonu. Ale o tym nie przeczytamy w ocenie DxOMark. Nie przeczytamy, bo LG G6 nigdy nie został oceniony. Może to i nawet lepiej dla tego telefonu. Poniżej próbka możliwości trybu nocnego LG G6. Widać gołym okiem jak zmiana oprogramowania potrafi podbić możliwości danego sprzętu:
Po lewej zdjęcie nocne wykonane w automacie, po prawej też w automacie, ale w trybie nocnym z oversamplingiem. Po lewej widzimy typową dla LG nocną „sieczkę” bez szczegółów. Zmiana trybu na nocny i zapis z użyciem ultrapikseli zmienia tę samą scenę w sposób diametralny. Może nie jest to jakość znana z Huawei P20 Pro, ale w swojej obecnej klasie cenowej LG G6 nie ma się obecnie czego wstydzić i np. pisanie, że Samsung Galaxy S7 robi lepsze fotki to nieporozumienie. Tak było może rok temu.
Zatrzymajmy się jeszcze na chwilę przy ocenie LG G7 ThinQ. Telefon ten może nie jest mistrzem fotografii i w testach innych portali przegrywa jakościowo z V30, ale ocena wystawiona przez DxOMark, jest nie tylko lakoniczna, spóźniona, ale też momentami tendencyjna. Smartfon największy spadek otrzymuje za spadek detali, co skwitowane jest tylko dwoma zdaniami: Texture and noise are also among the G7 ThinQ’s weaknesses. A loss of detail in finer textures is noticeable even in bright light, and there can be noise in areas of low contrast or uniform colors even when shooting in good light conditions. Brak jakichkolwiek próbek i sampli potwierdzających tę ocenę.
Dwa, ocena cierpi też przez brak teleobiektywu: The G7 ThinQ’s secondary camera is a super-wide-angle rather than a tele (as for some competitors). This can be useful if you want to squeeze more of a scene into your image, but it also means that zoom performance is poor compared to some direct rivals, as the LG relies purely on digital zoom. Szeroki kąt zostaje wspomniany, ale wg portalu jest to w sumie wada, bo prowadzi do gorszych możliwości zoomu cyfrowego! I czy taką ocenę można brać za miarodajną? I jeszcze jedna rzecz: LG G7 ThinQ zostaje zmiażdżony za słaby bokeh (40 pkt) przy czym… najnowszy iPhone XS Max ma bokeh równie tragiczny (patrz artefakty wokół dłoni), ale punktów znacznie więcej bo 60.
LG G7 ThinQ otrzymuje również bardzo słabe oceny za brak szczegółowości i detali przy powiększeniu. Dam tutaj tylko jeden kontr przykład w oparciu o zdjęcia pobrane bezpośrednio z testu Huawei P20 Pro. Telefon ten otrzymuje praktycznie maksymalne noty. Spójrzmy na poniższe próbki. Faktycznie kolorystyka wygląda na całkiem niezłą, ale w tym konkretnym przykładzie razi kompletny brak detali.
Wystarczy otworzyć powyższe zdjęcia w osobnych oknach, by zobaczyć faktyczną jakość tła i brak szczegółowości. To, za co LG jest krytykowane, w przypadku Huaweia nie jest nawet wspomniane jednym zdaniem.
Polecam otworzyć powyższe wycinki. Widać wyraźnie, że w tym konkretnym przykładzie Huawei 20 Pro został wręcz zdeklasowany jakościowo przez swoich dwóch konkurentów. Być może jest to faktycznie najlepszy fotosmartfon na rynku, ale akurat z powyższego przykładu kompletnie to nie wynika. Czy przeczytamy o tym w recenzji? Nie, bo wyniki mają charakter laboratoryjny, a opis jest zdawkowy. Jak widać w oparciu o same przykłady pobrane ze strony DxOMark można podważyć rzetelność wystawianych ocen. Gdybym miał wybierać telefon w oparciu o tę jedną próbkę, bez wahania sięgnąłbym po Pixela 2, którego szczegółowość i dbałość o detale przypomina tę z Lumii 950.
Podsumowując, jakie są moje zarzuty co do ocen portalu DxOMark?
- Ocena ogólna danego urządzenia to średnia ważona możliwości foto i wideo. Te dwa aspekty nie powinny być moim zdaniem łączone.
- Ocena fotograficzna to średnia ważona składowych, których wybór może być tendencyjny (np. punkty za słaby, cyfrowy bokeh).
- Oceny składowe mają charakter analityczny (kolor, szumy), bardziej czytelna byłaby ocena składowa za zdjęcia dzienne, nocne, portretowe, a nie na odwrót. Aktualna ocena nic nie mówi konkretnego o możliwościach fotografowania w nocy, bo warunki oświetleniowe stanowią składowe dla np. oceny za kolor, a powinno być na odwrót. Każdy inny test osobno ocenia fotografię dzienną, osobno nocną.
- Portal ocenia de facto możliwości aparatów w trybie automatycznym. W zasadzie nigdy nie spotkałem się z analizą trybu ręcznego zarówno foto, jak i wideo, czy analizą plików RAW. Ktoś powie, że 95 % ludzi pstryka w automacie. Odpowiem: 95 % ludzi nie kupuje flagowców. Jeżeli komuś zależy na fotografii, to ocenia pracę urządzenia nie tylko w trybie automatycznym, ale we wszystkich możliwych trybach i bierze pod uwagę możliwości korekty manualnej.
- Nawet duże rozbieżności w ocenie niekoniecznie oznaczają, że smartfon X jest znacznie gorszy od Y.
- Komentarze co do jakości zdjęć nie zawsze są spójne z prezentowanymi samplami.
- W podsumowaniach praktycznie brak porównania cropów z danych ujęć.
- Oficjalne recenzje i podsumowania testów są lakoniczne i miałkie, a przez to tworzą wrażenie nie do końca rzetelnych.
- Niektóre telefony nie zostały nigdy ocenione, trudno więc pisać, że smartfon X jest najlepszy na rynku, gdy w bazie ocen brakuje niektórych, topowych urządzeń uważanych za co najmniej bardzo dobre, jak Lumia 950 z 2015 roku. Wiem, obecnie telefony z Windowsem już wymarły, ale w 2015 roku Lumia 950 oferowała jakość niespotykaną na rynku.
- I na koniec: Pay to Win – wpływ na wynik końcowy może mieć kalibracja urządzeń za pomocą płatnych zestawów DxO Labs. Płacąc za dostęp do procedur testowych dana firma jest o dwa kroki przed konkurencją.
DxOMark stosuje rygorystyczne zasady oceny, pytanie tylko czy wybrane kategorie tej oceny w pełni odzwierciedlają możliwości sprzętu? Osobiście przed zakupem telefonu zalecałbym sprawdzenie jego możliwości w co najmniej kilku testach, bo czasami wyniki są mocno rozbieżne.
To oczywiście moja subiektywna ocena. Jeśli macie inne zdanie, zapraszam do dyskusji. Jak Wy oceniacie DxOMark? Oceny tego portalu są dla Was ważne przy wyborze nowego telefonu czy traktujecie je raczej z przymrużeniem oka?
