Inter-rater agreement among multiple examiners for the caries assessment on intra-oral X-ray images

Abstract

Dagens samfunn er i utvikling, og vi møter utfordringer til stadig. I tannhelsetjeneste er karies en av de største utfordringene. Dette krever god kunnskap om forebygging, og behandling. For å kunne utvikle tjenesten videre, er det essensielt at den følger med i utviklingen. For å kunne bidra til dette jobber AI-Dentify prosjektet med å utvikle et beslutningsstøtte-system, i forbindelse med dette har fem tannleger og en tannpleier annotert karies på intraorale røntgenbilder. Ved å analysere annoteringene, og bruke Cohens kappa, har denne masteroppgaven sett på hvordan annotørene har merket opp karies på røntgen. I tillegg har vi sett på presisjon og om erfarne tannleger er mer presise enn en tannpleier med mindre klinisk erfaring. Erfaring er helt klart en faktor som gjør at annotørene kan være mer trygge og sikre på annoteringen de gjøre. Videre har dette vist at det trengs mer forskning på området og at det er avhengig av hvilke faktorer en ønsker å ta med.

Today's society is developing, and we constantly face challenges. In dental health care, caries is one of the biggest challenges. This requires good knowledge of prevention and treatment. In order to be able to develop the dental service further, it is essential that it keeps up with the times. In order to contribute to this, the AI-Dentify project is working on developing a decision-making support system. In connection with this, five dentists and a dental hygienist have annotated caries on intraoral X-rays. By analyzing the annotations, and using Cohen's kappa, this master project has examined how the annotators have marked caries on the X-ray and the agreement among them and a ground truth. In addition, we looked at precision and whether experienced dentists are more precise than a dental hygienist with more limited clinical experience. Experience is a factor that allows the annotators to be confident and more certain of the decision and thereby the annotations that they make. Furthermore, this has shown that more research is needed in the area and that it depends on different factors one wants to include.