Correcting Classification: A Bayesian Framework Using Explanation Feedback to Improve Classification Abilities
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2778072Utgivelsesdato
2021Metadata
Vis full innførselSamlinger
Sammendrag
Nevrale nettverk (NNs) har vist høy prediktiv ytelse, men med mangler. For det første er ikke årsakene bak klassifiseringene fullstendig forstått. Flere forklaringsmetoder er utviklet, men de har ikke mekanismer for brukere å samhandle med forklaringene. Forklaringer er sosiale, noe som betyr at de er en overføring av kunnskap gjennom interaksjoner. Likevel bidrar nåværende forklaringsmetoder bare til enveiskommunikasjon. For det andre har NN-er en tendens til å være for selvsikre, og gir urimelige usikkerhetsestimater på observasjoner som ikke kommer fra samme distribusjon. Vi overvinner disse vanskelighetene ved å trene et Bayesiansk Konvolusjonell nevrale nettverk (CNN) som bruker forklaringstilbakemeldinger. Etter trening presenterer modellen forklaringer på klassifiseringer av treningseksempler til en orakel. Basert på gitt informasjon kan orakelet godta eller avvise forklaringene ved å gi tilbakemelding. Den foreslåtte metoden vår bruker denne tilbakemeldingen til finjustering for å korrigere modellen slik at forklaringene og klassifiseringene forbedres. Vi bruker eksisterende CNN-arkitekturer for å demonstrere metodens effektivitet på ett leketøydatasett (decoy MNIST) og to ekte datasett (Dogs vs. Cats og ISIC skin cancer). Eksperimentene indikerer at få tilbakemeldinger- og finjusteringsepoker er nødvendig for å forbedre modellen og prediktiv ytelse, noe som gjør modellen mer pålitelig og forståelig. Neural networks (NNs) have shown high predictive performance, however, with shortcomings. Firstly, the reasons behind the classifications are not fully understood. Several explanation methods have been developed, but they do not provide mechanisms for users to interact with the explanations. Explanations are social, meaning they are a transfer of knowledge through interactions. Nonetheless, current explanation methods contribute only to one-way communication. Secondly, NNs tend to be overconfident, providing unreasonable uncertainty estimates on out-of-distribution observations. We overcome these difficulties by training a Bayesian convolutional neural network (CNN) that uses explanation feedback. After training, the model presents explanations of training sample classifications to an annotator. Based on the provided information, the annotator can accept or reject the explanations by providing feedback. Our proposed method utilizes this feedback for fine-tuning to correct the model such that the explanations and classifications improve. We use existing CNN architectures to demonstrate the method's effectiveness on one toy dataset (decoy MNIST) and two real-world datasets (Dogs vs. Cats and ISIC skin cancer). The experiments indicate that few annotated explanations and fine-tuning epochs are needed to improve the model and predictive performance, making the model more trustworthy and understandable.