VMAF (Video Multi-Method Assesment Fusion) je plně referenční metrika vyvinutá společností Netflix k vyhodnocení a předpovědi vizuální kvality obsahu videa. Je navržena tak, aby replikovala lidský úsudek spojením několika metod hodnocení kvality. Projekt započal jako univerzitní spolupráce v roce 2014. Původně se začal vyvíjet z důvodu potřeby automatizovaného způsobu hodnocení kvality pro jednotlivé streamy.

Hlavní cíle společnosti Netflix byly vyvinout takovou metriku, která by byla konzistentní a škálovatelná pro široký výběr videí, které jejich platforma nabízí. VMAF funguje tak, aby objektivně měřil kvalitu videa, zejména pro streamovací služby, ale také pro komunikační služby, produkční prostředí a výzkumné projekty. Jeho schopnost objektivně určit kvalitu videa z něj činí cenný nástroj pro adaptivní optimalizaci kvality při streamování obsahu a zlepšení zážitku pro uživatele.

Problémy při přenosu a dodání videa Netflix používá pro přenos a dodání streamů protokol Transmission Control Protocol (TCP), proto nemusí řešit problém se ztrátou paketů a s bitovými chybami, které by jinak mohli zásadně ovlivnit vizuální kvalitu videa. V procesu kódovaní tedy zůstávají dva typy artefaktů, které mohou ovlivnit divákův zážitek ze sledování videa: kompresní artefakty a škálovací artefakty. Kompresní artefakty vznikají ztrátovou kompresí. Škálovací artefakty se mohou vyskytovat při nižší přenosové rychlosti, kdy je u videa nejdříve potřeba snížit kvalitu před kompresí a následně přímo v divákově zařízení ji zvýšit na původní kvalitu. Tímto způsobem dosahuje větší přesnosti než jiné metriky.

Měření Pro získání nové metriky musela společnost Netflix vytvořit soubor zdrojových videí, který se skládal z kombinace televizních pořadů a filmů z katalogu Netflixu a veřejně dostupných klipů. Ten obsahoval 34 šesti vteřinových videí, které zahrnovaly vysokoúrovňové (pohyby kamery, animace, záběry z blízka, lidi) a nízkoúrovňové (šum, filmové zrno, kontrast, pohyb) charakteristiky. Zdrojová videa poté zakódovali pomocí H.264 v širokém rozsahu rozlišení a datových toků (bitrate), což vedlo k téměř 300 deformovaným videím. S těmito videi provedli subjektivní testy, aby určili, jak neodborní pozorovatelé hodnotí poškození kódovaného videa v porovnání se zdrojovým videem. Z těchto výsledků bylo následně vytvořeno diferenciální průměrné skóre názoru (Differential Mean Opinion Score, DMOS), které má rozsah 0 až 100 (100 je skóre zdrojového videa).

Komponenty VMAF je spojení několika metrik pomocí algoritmu strojového učení (Support Vector Machine, SVM), který byl trénován a testován pomocí skóre z DMOS. SVM připisuje různé váhy každé elementární metrice a díky tomu využívá přednosti zvolených metrik a eliminuje jejich nedostatky. VMAF tedy využívá existující metriky kvality obrazu a videa, které zahrnují Visual Information Fidelity(VIF), Detail Loss Metric (DSL), Mean Co-Located Pixel Difference (MCPD), a další prvky k předpovídání kvality videa.

VIF je metrika, která zkoumá ztrátu věrnosti informací ve čtyřech různých prostorových měřítcích. DSL odděleně měří ztrátu detailů a přebytečného poškození, které mohou rozptylovat diváka. MPCD je jediná složka, která zohledňuje pohyb ve videu, slouží k analýze průměrného rozptylu jasu v odpovídajících pixelech a následně tím pak měří časový rozdíl mezi snímky.

Open source VMAF není jen metrikou vyvíjenou Netflixem, ale jedná se o tzv. open source projekt. Veřejně dostupný kód je na GitHubu a zahrnuje sadu VMAF Developement Kit (VDK), rámec pro trénování a testování vlastního modelu VMAF a některé další metriky včetně PSNR, SSIM a Multiscale SSIM. Základní funkce jsou v C, protože jsou výpočetně velmi náročné, řídicí kód a modelování je v Pythonu. Novější verze je také samostatně spustitelná v C++.

Reference

Externí odkazy

Praktický průvodce pro VMAF (anglicky) Základní informace o VMAF – z Broadcast Knowledge (anglicky) https://www.youtube.com/watch?v=HEWToASCQSA – rozšiřující informace o VMAF, z Youtube (anglicky) https://www.youtube.com/watch?v=a5ZinjtIUeY – další rozšiřující informace o VMAF, z Youtube (anglicky) https://www.linkedin.com/pulse/vmaf-video-multi-method-assessment-fusion-ahmed-islam – z LinekdIn (anglicky) https://netflixtechblog.com/toward-a-better-quality-metric-for-the-video-community-7ed94e752a30 – z Netflix Tech Blog (anglicky) https://www.visionular.com/en/vmaf-ssim-psnr-quality-metrics/ – porovnání s jinými metrikami (anglicky) https://github.com/Netflix/vmaf – open source verze VMAF, z GitHub (anglicky)

Kategorie:Filmové technologie Kategorie:Digitální technologie Kategorie:Digitální televize Kategorie:Zpracování obrazu Kategorie:Videotechnika Kategorie:Anglické zkratky