Automatic Player Tracking in Single-Camera Soccer Videos

Abstract

AI og maskinlæring har befestet seg i dagens fotballverden som en ressurs for å automatisere sportsanalyse. Analytiske data hjelper fotballens involverte med å oppnå et konkurransefortrinn på måter man tidligere ikke trodde var mulig. Særlig automatisk tracking av fotballspillere har vist seg å være essensielt for å kunne levere slike data. Tracking kan tillate sanntidsvurdering av lagformasjoner og taktikker, noe som er verdifullt både for sportsreportere og motstanderlag. Videre kan individuelle spillere vurderes ut fra hastighet, akselerasjon og total tilbakelagt strekning, noe som er særdeles nyttig i en analyse av utøverens individuelle ferdigheter. Dessverre er teknologien primært forbeholdt profesjonelle fotballorganisasjoner, og produktene er dyre. Teknologien krever kostbart og komplisert utstyr, for eksempel multikameraoppsett og GPS-trackere. Som en motsetning til dette, bruker denne oppgaven moderne datamaskinsynmetoder på fotballopptak filmet med ett enkelt kamera. Avhandlingen har potensiale til å bidra i utviklingen av rimelig programvare som leverer tilnærmede analytiske data som det premiumprodukter tilbyr. Vi ønsker å undersøke om toppmoderne datasynsalgoritmer automatisk kan oppdage og følge spillere over tid fra fotballopptak filmet med ett enkelt kamera. Resultatene er lovende og viser til og med at sanntids-prosseseringshastigheter er mulig. Arbeidet demonstrerer også hvordan resultatene fra disse metodene kan videreutvikles til fullverdige analytiske data, og som kan brukes direkte til fotballanalyse. Kjernen av dette arbeidet består av en tradisjonell maskinlæringsmetodikk. I tråd med dette foreslår vi en ny semi-automatisk annoteringsmetode som markant reduserer arbeidsmengden for maskinlæringsbaserte tilnærminger for flerobjekts tracking. Videre foreslår vi en metode for å oppnå metrikker for flerobjekts tracking under optimalisering av individuelle systemkomponenter. Metodene viser hvordan optimalisering av forskjellige deteksjon - og trackingkomponenter påvirker den totale ytelsen av systemet.

AI and machine learning have taken roots in today’s soccer world as an automated means to deliver sports analytics. The analytical data help soccer stakeholders gain a competitive advantage in ways previously thought not to be possible. Particularly, automated tracking of soccer players has proved to play an essential role in providing such data. It can allow real-time assessment of team formations and tactics of high value for sports reporters and opponent teams alike. Furthermore, individual players can be assessed based on speed, acceleration, and total distance traveled, which is valuable in athlete performance analysis. However, the technology is primarily reserved for professional soccer organizations and individuals, and the entry cost is high. The technology requires expensive and specialized equipment, such as multi-camera setups and GPS trackers. In contrast, this thesis applies recent computer vision methods on single-camera soccer footage. The work has the potential to contribute to the development of low-cost software that provides similar analytical data that premium products offer. To be more precise, this thesis is concerned with determining whether state-of-the-art computer vision algorithms can automatically detect and track players over time from soccer footage captured with one camera. The results are promising and even reveals that real-time processing speeds are within reach. It is also demonstrated how the processed footage can be transformed into full-fledged analytical data that may be directly used for soccer analytics purposes. At the heart of this thesis is a traditional machine learning methodology. To that end, we propose a semi-automatic labeling approach that significantly reduces workloads for machine learning-based multiple object tracking (MOT) tasks. We also propose a method for obtaining MOT metrics during the optimization of MOT system components. The method gives deep insight into how component optimization affects system-wide MOT performance