Explainable Neural News Recommender Systems

Abstract

De siste årene har bevitnet økt innsats forbundet med utviklingen av verktøy for å assistere brukere i å navigere nettbaserte underholdningstjenester gjennom anbefalingssystemer. Denne innsatsen er ikke ubegrunnet, da det er demonstrert at slike systemer øker bruker- engasjement og tilfredshet gjennom å begrense eksponeringen av informasjonsoverbe- lastning på nettbaserte underholdningstjenester. Grunnet økt etterspørsel og kommersiell verdi, så har forskning på å effektivisere anbefalingssystemer ført til en ny generasjon toppmoderne anbefalingssystemer som benyt- ter seg av dyp læring som den underliggende beslutningstakeren. Til tross for at disse metodene har økt effektiviteten til systemene, så øker dem samtidig kompleksiteten til anbefalingssystemet i bunn ved å innføre et enormt antall parametere. Dette har ført til at moderne anbefalingssystemer blir kalt sorte bokser, da de gir tilnærmet ingen innsikt eller forståelse for den underliggende anbefalingsprosessen.

For å imøtekomme disse problemene, foreslår vi ENSUS - en SHAP basert modell for å forklare nyhets anbefalingssystemer basert på dyp læring. Modellen er basert på en metode fra spillteori der attributter i et nevralt nettverk er sammenlignet i en simulert konkurranse, der forklaringer genereres ved å fortelle brukeren hvor mye hver attributt i datasettet bidrar til de endelige prediksjonene gjennom å sammenligne konkurranse bidraget fra hver attributt.

I tillegg foreslår vi en metode som forsøker å rettferdiggjøre forklaringene ved å gå rundt den sorte boksen, og utelukkende se på kontekstuell likhet mellom historikken til leseren og den anbefalte artikkelen. Metodene blir kvantitativt evaluert ved bruk av en brukerundersøkelse. Resultatene fra brukerundersøkelsen viser at ENSUS øker brukeres oppfattelse av gjennomsiktighet. Derimot viser undersøkelse at den ikke øker troverdighet fordi metoden for likhet presterer like bra på troverdighet. Videre viser eksperimentene i denne oppgaven at ENSUS tilrettelegger for at brukeren kan påvirke sine fremtidige anbefalinger ved å forklare systemet hvilke type nyhetskategorier som er ønsket.

The recent years have witnessed increased efforts in developing measures to aid users in navigating online services through recommender systems. These efforts are not unwar- ranted, as the utilization of such systems have demonstrated increased user engagement and satisfaction through relieving users from information overload.

Due to the increasing demand and commercial value of recommender systems, recent research on increasing their efficiency and accuracy have resulted in state-of-the art re- commender techniques that implement methods from deep learning. Although these techniques increase the accuracy of the recommendations, their inherent complexity with high number of parameters have resulted in the recommendation engines being deemed as black boxes — as they providing little to no transparency to the recommend- ation process.

To address this, we propose ENSUS — a SHAP based model for explaining a deep learn- ing based news recommender system by highlighting feature importance of input values. The model is based on a game-theoretic approach known as Shapley values, where input values in a neural network are paired up in a game-theoretic environment. The resulting feature importance reflects the contribution of each feature on the output — or in this case, the recommendation. In addition, we propose a second approach to explanation that fully omits the black box, and justifies the recommendations based on contextual similarities between knowledge objects, namely that of recently viewed news articles.

Our proposed methods are quantitatively evaluated through a user survey, through which we demonstrate that a neural-based news recommender explained through high-lighting feature importance drastically increases users' perceived transparency. How- ever, this does not imply an increase in trust, as our approach to justification performs equally as well in gaining the trust of users. This is an interesting discovery, as it demonstrates that omitting the black box can indeed increase users' trust in the recommendation process without the need for complex explanatory measures. Furthermore, this thesis provides evidence that our proposed method enables a user to influence future recommendations. Experiments are performed with two large datasets in both English and Norwegian to demonstrate the effectiveness of Shapley values in a commercial recommender system.