Datateknik AV, Multidimensionell visuell representation och kompression, 6 hp

Syfte

Kursen introducerar teorier och praktiska metoder för representation och kompression av multidimensionella visuella data. Den integrerar grundläggande koncept från informationsteori, källkodning och signalbehandling med state-of-the-art-tekniker inom visuella medier, inklusive bilder, video, 3D-modeller och ljusfält.

Lärandemål

Efter avslutad kurs ska studenten kunna:

• Beskriva hur 2D-, video-, punktmolns- och ljusfältsrepresentationer används inom visuella medier, med fokus på effektivitet, kvalitet och uppslukande upplevelser.
• Tillämpa olika metoder för att minska redundans tillsammans med avancerade förlustfria kodningsmetoder för att etablera grundläggande kompressionsprinciper.
• Syntetisera grundläggande koncept inom informationsteori för att utveckla strategier som optimerar datakompression över olika format.
• Optimera kvantisering och förhållandet mellan datahastighet och distorsion genom avancerade tekniker som balanserar kompressionseffektivitet med kvalitet.
• Jämföra state-of-the-art-metoder och djupinlärningsbaserade arkitekturer med konventionella paradigm för att utforska moderna framsteg inom codec-design.
• Utvärdera tekniker för visuell representation och kompression med hjälp av objektiva och perceptuella mätvärden för en heltäckande kvalitetsbedömning.

Innehåll

Representation av multidimensionella visuella data: Bild, video, 3D-punktmoln, ljusfält, 3D Gaussian Splats, NeRFs.

Informationsteori: Entropi, betingad entropi, gemensam entropi, ömsesidig information, energikomprimering.

Prediktion och transformation: Linjär prediktion, prediktionsfel, deltakodning, frekvenstransformationer, sub-band, diskret cosinustransform, wavelettransform, Karhunen-Loève-transform.

Förlustfri kodning: Entropikoder, fasta och variabla längdkoder, ordboksmetoder, hyperprior-modellering, kontextanpassad kompression, run-length-kodning.

Förlustintroducerande kodning: Subsampling, uniform/icke-uniform/adaptiv kvantisering, skalär-/vektorkvantisering, kvantiseringsbrus, brusformning, optimering av datahastighet och distorsion, Lagrange-multiplikatorer.

Traditionell vs. djupinlärningsdriven kompression: Evolution av bild- och videocodecs, VAEs, GANs, Vision Transformers, neurala codecs, hybridmetoder.

Kvalitetsbedömningsmått: Objektiv och perceptuell utvärdering, MSE, PSNR, SSIM, VMAF, JND, enstaka- och dubbla stimuli-metoder, parvisa jämförelser, Mean Opinion Score (MOS) och Visual Information Fidelity (VIF).

Praktisk tillämpning: Praktiska kodningsövningar, experiment med verkliga dataset, studier av aktuella representationsformat och kodningsmetoder, samt övervägande av etiska aspekter.

Behörighet

60 hp datateknik eller elektroteknik, inkluderande minst en kurs inom objektorienterad programmering.

30 hp matematiska ämnen, inklusive kurser i sannolikhetsteori och statistik samt linjär algebra.

Datateknik AV, Signal- och bildbehandling, 6 hp.

Urvalsregler

Urval sker i enlighet med Högskoleförordningen och den lokala antagningsordningen.

Examination

L101: Laborationer, 1,5 hp
Betygsskala: Tvågradig skala

T101: Tentamen, 4,5 hp
Betygsskala: Sju-gradig skala, A-F o Fx

Länk till betygskriterier: https://www.miun.se/betygskriterier.

Om student har ett besked från samordnaren vid Mittuniversitetet om pedagogiskt stöd vid funktionsnedsättning, har examinatorn rätt att ge anpassad examination för studenten.

Begränsning av examination

Studenter registrerade på denna version av kursplan har rätt att examineras 3 gånger inom loppet av 1 år enligt angivna examinationsformer. Därefter gäller examinationsform enligt senast gällande version av kursplan.

Betygsskala

Sju-gradig skala, A-F o Fx