| dc.description.abstract | Dyp læring-basert objektdeteksjon har blitt en viktig søyle i sikkerhetskritiske systemer. Med denne utviklingen er pålitelige metrikker for å evaluere ytelsen til deteksjonsmodeller avgjørende. For dette formålet anvendes typisk velkjente, generiske metrikker som Average Precision (AP). Når slike metrikker anvendes i autonome kjøretøy, tar de imidlertid ikke hensyn til miljøfaktorer og kontekst. Spesifikt klarer ikke slike metrikker å skille mellom relevansen til ulike objekter som oppfattes i en kjøresituasjon, og reflekterer dermed ikke viktigheten av enkelte deteksjoner. I de senere årene har det blitt foreslått flere sikkerhetsorienterte evalueringsmetrikker for å takle disse problemene. Basert på en systematisk litteraturgjennomgang som identifiserte slike tilnærminger, fokuserer denne oppgaven på analyse og sammenligning av to spesifikke metrikker for sikkerhetsorientert evaluering av objektdetektorer. Disse metrikkene er basert på Object Criticality Model (OCM) og Planning-KL Divergence (PKL). I denne oppgaven blir en eksperimentell tilnærming foreslått og benyttet til å analysere egenskapene ved de to metrikkene og forholdet mellom dem. Først utføres en kvalitativ analyse av metrikk-evalueringer for prediksjoner fra en objektdetektor for en spesifikk kjøresituasjon, med og uten injiserte, syntetiske feil i prediksjonene. Deretter utføres en analyse av forholdet mellom OCM-relaterte metrikker og PKL, og korrelasjonen mellom deres kvantitative metrikk-data undersøkes. Videre analyseres sensitiviteten til metrikkene for syntetisk injiserte feil. Til slutt gjennomføres en analyse av forskjellene mellom sikkerhetsorienterte og generiske metrikker for objektdeteksjon. Resultatene avslører viktige egenskaper ved de to metrikkene og forholdet mellom dem. Mens PKL straffer falske positive (FP) feil hardere enn falske negative (FN) deteksjoner, er det motsatte tilfelle for OCM-relaterte metrikker. Kvalitativ analyse understreker denne sensitiviteten til PKL for FP-prediksjoner. Videre viser resultater at OCM-relaterte metrikker har en høyere sensitivitet til feil i prediksjoner når antall objekter i de evaluerte situasjonene reduseres. Det motsatte er tilfelle for PKL. I tillegg viser resultatene en betydelig høyere korrelasjon mellom metrikkene når antallet objekter i de evaluerte situasjonene reduseres. Til slutt identifiseres betydelige forskjeller mellom sikkerhetsorienterte og generiske metrikker, som vektlegger viktigheten av kontekstuell evaluering ved vurdering av ytelsen til objektdetektorer som anvendes i autonome kjøretøy. Gjennom arbeidet utført i denne oppgaven utvikles en utvidelse av nuScenes-devkit, som implementerer nyttig funksjonalitet som metoder for injisering av syntetiske feil i objektdetektor-prediksjoner. | |
| dc.description.abstract | Deep learning-based object detection has become a major pillar in safety-critical systems. With this development, solid metrics with which to evaluate the performance of detection models are crucial. For this purpose, widely acknowledged evaluation metrics such as Average Precision (AP) are commonly applied. However, when applied in autonomous vehicles, generic metrics fail to consider context and environmental factors in their evaluations. Specifically, such metrics do not effectively differentiate the relevance of objects perceived in a driving scene, thus failing to accurately reflect the significance of particularly important detections. In recent years, a number of safety-oriented evaluation metrics have been proposed to address these issues. Building on a systematic literature review identifying such approaches, this thesis focuses on the analysis and comparison of two particular metrics for the safety-oriented evaluation of object detectors. These metrics are based on the Object Criticality Model (OCM) and on Planning-KL Divergence (PKL). A rigorous experimental approach is proposed and employed for analysing the characteristics of the two metrics and the relationship between them.
First, a qualitative analysis is performed on metric evaluations for detector predictions in a specific driving scenario, with and without injecting synthetic faults into predictions. Subsequently, an analysis of the relationship between OCM-related metrics and PKL is performed, investigating correlation in quantitative metric data. The sensitivity of the metrics to faults is then analysed. Lastly, a comparative analysis is performed, investigating the distinctions between safety-oriented and generic metrics for object detection. The results reveal important characteristics of the two metrics, and of their relationship. While PKL imposes a more severe penalization on false positive (FP) faults compared to false positive (FN) faults, the opposite is true for OCM-related metrics. The qualitative analysis further highlights the sensitivity of PKL to FP predictions. Furthermore, findings demonstrate that OCM-related metrics exhibit a higher sensitivity to reflecting prediction faults as the number of objects in the evaluated scenarios decreases. Again, the opposite is true for PKL. Additionally, examining the correlation between quantitative metric data, a significant increase in correlation between the metrics is reported for a decreasing number of objects in the scenarios evaluated. Finally, significant distinctions between safety-oriented metrics and generic metrics are identified, emphasizing the importance of contextual evaluation when assessing the performance of object detectors in autonomous vehicles. Through the research performed in this work, an extension of the nuScenes-devkit is developed, implementing useful functionality such as methods for the injection of faults into object detector prediction. | |
