Leveraging Graph Attention Networks and Knowledge Graphs for Fake News Detection

Abstract

Sosiale medier har hatt stor innvirkning i hvordan informasjon deles og konsumeres. En klar negativ medfølge har vært den store økningen i spredning av falske nyheter. En falsk nyhet som spres i USA kan være i Norge kun sekunder senere. Hver dag blir mennesker verden over eksponert for målrettet annonsering, artikler og poster fra sosiale medier. Disse spres uten noen krav til tredjeparts filtrering eller faktasjekking. Samtidig har det blitt gjort store fremskritt i teknologi for automatisk deteksjon av falske nyheter. På tross av dette har det vært manglende fokus på teknologi hvor brukere kan forstå begrunnelsen bak dens konklusjoner. Ettersom kredibiliteten til media og faktasjekkere er lavere enn noen sinne, argumenterer vi for at forståelige prediksjoner er avgjørende ved valg av teknologi for å detektere falske nyheter. En type teknologi som støtter denne egenskapen, og som vil være fokus i denne oppgaven, er teknologi basert på computational-oriented fact-checking. Denne oppgaven presenterer studiet, de- sign og implementeringen av en ny tilnærming til link prediction problemet gjennom en tilpasning av en eksisterende arkitektur, samt konstruksjon av et komplett system for å trekke ut og validere påstander fra nyhetsartikler. Målet med opp- gaven er tredelt; (i) undersøke om Graph Attention Networks kan tilpasses for å gjennomføre og nå state-of-the-art link prediction ytelse i knowledge graphs; (ii) vil denne modellen kunne bli brukt til å nå samme ytelse som state-of-the- art teknologi for fake news detection; og (iii) evaluere effektiviteten til et system som trekker ut påstander fra tekst i forbindelse med deteksjon av falske nyheter. Vår foreslåtte attention-based GNN modell, ved navn mrGraphStar, har gjennom denne oppgaven vist potensiale til å nå ytelse nært opp mot dagens beste link pre- diction modeller. Vi utreder også hvorfor, med noen forbedringer, en slik modell vil kunne overgå selv de beste nåværende løsningene. Våre forsøk på å utnytte mrGraphStar til deteksjon av falske nyheter viser seg å ikke kunne konkurrere med ytelsen til dagens state-of-the-art modeller. På tross av dette undersøker vi flere mulige forklaringer, og setter lys på faktorer som kan gjøre at et slikt rammeverk kan fungere godt.

A severe downside of online media has been the increase in the propagation of fake news. Every day, technology is exposing millions of people to advertisements, articles, and social media posts, not subject to third-party filtering, fact-checking, or editorial judgment. Though there has been a rapid increase in the amount of research towards effective computational detection techniques, the majority of approaches cannot explain what is fake in the target news content. As the credibility of media and third-party checking organizations is at an all-time low, we argue the interpretability of any new method should be imperative when choosing detection techniques for fake news. One approach often argued to accommodate such requirement, which will be the focus of this thesis, are those based on computational-oriented fact-checking. In essence, this thesis present the study, design and implementation of a novel link prediction model and a framework to automatically extract and verify claims in order to classify news documents. The aim of our thesis has three parts: (i) explore the potential for attention-based Graph Neural Networks to reach state-of-the-art link prediction performance in knowl- edge graphs; (ii) investigate this model’s ability to achieve state-of-the-art fake news detection performance; and (iii) evaluate the effectiveness of claim extraction in the context of fact-checking. The proposed link prediction model, named mrGraphStar, has shown ability to reach performance in close proximity to that of state-of-the-art models on two benchmark datasets. We argue, by investigating some potential venues of improvements, graph attention networks may be able to overtake the currently best performing link prediction models. While the efforts of adopting this model in a fake news detection framework did not yield the same success, we investigate multiple reasons explaining why the approach could still bear fruitful results.