Beeldinterpolatie van voetbalscènes

Beelden bekijken vanuit standpunten waar geen camera’s staan Vandaag de dag worden camera zoom en slow motions veelvuldig gebruikt bij het in beeld brengen van verschillende evenementen om de betrokkenheid en de kijkervaring te vergroten. Het masterthesisonderzoek “beeldinterpolatie van voetbal scènes” gaat hierin nog een stap verder. In deze thesis werd de uitdaging aangegaan om een geschikte techniek te ontwikkelen die uit opgenomen beelden, het reëel beeld berekent voor een willekeurig gekozen virtueel camerastandpunt op een voetbalveld. Dit onderzoek maakt het mogelijk dat we in de toekomst naast het zoomlevel en de afspeelsnelheid ook de kijkpositie en - richting van het beeld kunnen kiezen. Om zo’n beeld uit onze hoed van afbeeldingen tevoorschijn te toveren moet de nodige informatie voor dit nieuwe beeld bevat zijn in de andere gefilmde afbeeldingen. Wanneer bijvoorbeeld het linker- en het rechterzijaanzicht van een persoon zijn gefilmd, dan is er in theorie voldoende informatie aanwezig om hieruit het vooraanzicht van deze persoon te kunnen reconstrueren. Tijdens de literatuurstudie werden verschillende potentiële methoden onderzocht die pixelinformatie uit gegeven beelden kunnen transformeren naar een beeld vanuit een nieuw camerastandpunt. Gewenst is dat de methode krachtig gebruik kan maken van weinig beeldinformatie zodat ook goede resultaten behaald worden bij een beperkt aantal camera’s. Verder moet ze robuust zijn onder kleine belichtingsveranderingen en kleurverschillen tussen camera’s en het potentieel hebben om in real-time uitvoerbaar te zijn. De visual hull methode bleek na onderzoek het meest aan deze eisen te voldoen. In essentie is de visual hull methode een 3D reconstructiemethode waarbij de 3D reconstructie van het object consistent blijft met de silhouetafbeeldingen van het object in de gegeven afbeeldingen. Zo worden uit de gegeven afbeeldingen, de voor het nieuwe camerastandpunt zichtbare objecten, in 3D gereconstrueerd. Vervolgens kan het nieuwe beeld worden berekend door de gereconstrueerde objecten volgens een gekozen perspectief projectie af te beelden op het nieuwe beeld. Deze berekening kan per pixel in het nieuwe beeld gelijktijdig en tot op de pixel nauwkeurig worden uitgevoerd. Figuur 1 toont dat de visual hull methode al mooie resultaten geeft bij weinig beeldinformatie. Gegenereerde videoresultaten van de onderzochte methode op een voetbalscène 1 en de buste van Beethoven 2 zijn online te bekijken.  Onderzoeksresultaten tonen aan dat voor nauwkeurige resultaten een correcte silhouetdetectie van belang is. Ook zal de reconstructie nauwkeuriger zijn wanneer de gegeven camerabeelden bestaan uit zowel naburige als ver verwijderde beelden ten opzichte van het nieuw gekozen virtuele camerastandpunt. Bij meer camera’s zal de nauwkeurigheid verbeteren, maar slechts in beperkte mate omdat via deze techniek uit weinig beeldinformatie al een grote nauwkeurigheid behaald wordt. Dit maakt het in praktijk brengen van deze techniek haalbaar. De 3D reconstructie kan nog verbeterd worden door naast vorminformatie ook robuuste informatie binnen objectsilhouetten te beschouwen zodat we meer begrenzingen op het 3D volume kunnen opleggen en op die manier de visual hull gradueel kunnen verfijnen. Informatie die vrij robuust is over uiteenlopende camerastandpunten zijn randen. Wanneer geweten is welke pixel van een rand in een beeld overeenkomt met een pixel van een rand in het andere beeld kan hieruit het 3D punt van deze pixel worden berekend. Om overeenkomsten van pixels op randen over meerdere beelden te zoeken werd een nieuwe methode ontwikkeld. Onderzoeksresultaten tonen aan dat deze methode bruikbaar is ongeacht of de randen geschaleerd, geroteerd of verplaatst zijn, zolang de camera’s maar dicht genoeg bij elkaar staan en de perspectieve vervorming tussen de beelden beperkt is. Verder kan deze methode ook gebruikt worden voor objectherkenning. Met dit thesisonderzoek is een belangrijke stap gezet om hetgeen onderzocht werd in de nabije toekomst te commercialiseren. Bij voldoende beeldinformatie kan zo een voetbalscène vanuit eender welke positie getoond worden en kunnen we er als het ware in rondwandelen. Het spel kan zo bijvoorbeeld worden beleefd en geanalyseerd vanuit het oogpunt van de speler of de bal. Dubieuze situaties zoals een bal al dan niet over de lijn kunnen worden uitgeklaard door het standpunt bovenop de lijn te kiezen en het beeld vanuit dit standpunt te berekenen. Naast de entertainmentsector kan dit ook gebruikt worden in de beveiligingssector voor het reconstrueren van personen vanuit een bepaalde richting om ze beter te kunnen identificeren. In de film- en game-industrie kan ze worden toegepast om bijvoorbeeld reëele 3D objecten op basis van afbeeldingen om te zetten naar zeer realistische 3D computermodellen. 1 http://www.youtube.com/watch?v=DD6qqlIRkNE2 http://www.youtube.com/watch?v=4piRg3mgQcY