Multi-Level Magnification with Transformer-Based Architectures for Enhanced Cell Detection and Classification in Computational Pathology

Abstract

Celledeteksjon og klassifisering er en viktig oppgave for å bistå patologer med pasientbehandling og utarbeidelse av prognose, innen Computational Pathology (CPATH), en gren under digital patologi som utvikler metoder for analyse av pasi- entprøver. En spesifikk anvendelse er celletelling i brystkreftprøver. Brystkreft sto for 31% av all kreft observert hos kvinner i 2023. Ettersom celletelling er tidskre- vende og potensielt kan påvirke menneskeliv, er automatisering, forklarbarhet og presise prediksjoner viktig. Utarbeidelse av store annoterte datasett er dessverre vanskelig og krever mye tid og kompetanse.

Når patologer skal stille en diagnose, undersøker de vanligvis flere nivåer av for- størrelse i cellevevet. Nylige etablerte metoder er inspirert av dette og går ut på å bruke maskinslæringsmodeller som utnytter forholdet mellom celler og det omkringliggende vevet. I tillegg er det utgitt et nytt datasett kalt OCELOT, som inneholder annoterte, overlappende celle- og vevsbilder, basert på Hematoxylin and Eosin (H&E)-fargede Whole-Slide-Images (WSIs) av flere organer.

Denne avhandlingen undersøker hvordan transformer-baserte arkitekturer kan brukes for å øke ytelsen til maskinslæringsmodeller på oppgaven med overlap- pende celle- og vevsbilder og undersøker hvordan tilleggsinformasjonen utnyttes av modellene. Vi finner ut at en sofistikert kombinasjon av vevs og celleinformas- jonen er avgjørende for modellenes ytelse og foreslår en ny arkitektur, den Additive Joint Pred-to-decoder modellen. Den har en U-Net-liknende arkitektur, en kombin- ert kostfunksjon og bruker overlapped patch merging for vevsprediksjonene. Den oppnår en høyere score på det offisielle OCELOT-testsettet enn høyeste observerte score under konkurransen. Ved å legge til Test-Time Augmentation (TTA), oppnår den en høyere score enn hva vi har observert hos relaterte vitenskaplige artikler på testsettet.

For å oppsummere, presenterer vi en ny State-of-the-art (SOTA) arkitektur for oppgaven i OCELOT og viser at de beste modellene kombinerer informasjonen fra vevs- og cellebildene på en intelligent måte, noe som gjør de i stand til å både utnytte cellenes morfologi og vevskonteksten.

Cell detection and classification is an important task for aiding patient prognosis and treatment planning in Computational Pathology (CPATH), a branch of digital pathology that develops methods for the analysis of patient specimens. One spe- cific application is cell counting of breast cancer specimens, which alone accoun- ted for 31% of all female cancers in 2023. As cell counting is a tedious task and potentially can impact human lives, automation, interpretability of the methods, and accurate predictions are critical. However, developing large annotated data- sets is challenging as it requires significant time and effort from domain experts.

Pathologists usually consider different levels of magnification when making dia- gnoses. Inspired by this, recent methods have been proposed using the cell-tissue relationship for the development of Machine Learning (ML) models. Additionally, a new dataset named OCELOT has been released, containing overlapping cell and tissue annotations based on Hematoxylin and Eosin (H&E) stained Whole-Slide- Images (WSIs) of multiple organs.

This thesis explores how transformer-based architectures can be used to improve performance on the overlapping cell and tissue task, and investigates how the ad- ditional information is utilized by these complex models. We learn that the intel- ligent combination of the additional information is critical to the model perform- ance, and propose a new architecture for utilizing the cell-tissue relationship, the Additive Joint Pred-to-decoder model. With a U-Net-like architecture, a joint loss function and an implementation of overlapped patch merging of tissue predic- tions, this model achieves a higher mean F1 score on the official OCELOT test set than all submissions on the OCELOT grand challenge’s leaderboard. When adding Test-Time Augmentation (TTA) to the model, we achieve a higher score than any other publication on the official test set, to the best of our knowledge.

In summary, we provide a new State-of-the-art (SOTA) model architecture for the OCELOT task and show that the best models intelligently combine the ad- ded tissue information to the cell images, allowing them to take both the cells’ morphology as well as tissue context into consideration.