How Moving from Traditional Signature Analysis to Automatic Anomaly Analysis Affects User Experience and Security Awareness

Abstract

Tradisjonelt har sikkerhetsmonitorering vært regelbasert, men når blir det tatt i bruk maskinlæringsteknologi for å forbedre sikkerhetssystemene. E-postløsninger er blant systemene som bruker den nye teknologien. Dette er nødvendig fordi e-post er en av de meste brukte kanalene for ondsinnede handlinger, og det er mulig å oppdage nye typer angrep og ungå flere angrep ved å bruke maskinlæringsalgoritmer. Samtidige gir nye systemer en ny brukeropplevelse, men det mangler forskning på hvordan denne endringen i brukeropplevelse påvirker sikkerhetsbevisstheten til brukerne. Dette forskningsprosjektet prøver å fylle dette hullet ved å undersøke hvordan denne teknologiske endringen påvirker brukeropplevelse og sikkerhetsbevisstheten, men det endelige målet om å få kunnskap om organisasjoner som implementerer de nye systemene blir sikrere.

Et case-studie av en kunnskapsorganisasjon har blitt gjennomført for å undersøke hvordan deres ansatte blir påvirket. Data ble samlet gjennom semi-strukturerte intervjuer med syv ansatte, analyser av e-post som er rapportert som ondsinnet and samtaler med IT-sikkerhetsleder. Organisasjonen vi studerte ble valgt fordi de høsten 2019 implementerte et nytt sikkerhetssystem for e-post som baserer seg på maskinlæringsteknologi.

Blant resultatene er det at de ansatte har høy grad av risikopersepsjon og en god forståelse for potensielle trusler de og organisasjonen er utsatt for på e-post. Det er interne forskjeller, men generelt er den nye løsningen tatt godt imot av de ansatte og det virker som at brukeropplevelsen er noe økt. Angående sikkerhetsbevissthet viser resultatene både faktorer som øker bevisstheten og samtidig andre faktorer som minsker bevisstheten.

Alle funnene tilsammen gir indikasjoner på økt total sikkerhet i caseorganisasjonen etter å ha implementert den nye sikkerhetsløsningen på e-post. Sikkerheten er ikke perfekt, og det er rom for forbedringer. For økt sikkerhet er hovedbudskapet til organisasjoner som planlegger å implentere lignende løsninger å sikre at de ansatte har tilstrekkelig kunnskap til å bruke systemene riktig. For brukerne er det viktig å huske at selv om det er nye og bedre systemer, kan de aldri stole helt på et system, så det menneskelige filteret må fortsatt være oppe.

There is now an ongoing transition in the field of security systems from traditional signature analysis to analysis using machine learning algorithms. Email solutions are among the systems that utilize this new technology. It is needed because email is a widely used attack vector for malicious activities, and it is possible to detect new kinds of attacks and avoid more attacks by utilizing machine learning algorithms. At the same time, new systems lead to a new user experience, but there is a lack of research on how changes in user experience affect security. This research project aims to fill this gap by investigating how this technological transition affects user experience and security awareness, with the ultimate objective of getting to know if organizations implementing these systems are becoming more secure.

A case study of a knowledge organization is performed to investigate how its employees are affected. Data was collected through semi-structured interviews with seven employees, analysis of emails reported as malicious and conversations with the IT security manager. The case organization is chosen because they, in fall 2019, implemented a new email security solution that utilizes machine learning algorithms.

Among the results are that the employees' risk perception is of a high degree and they have a good understanding of the potential email threats they and the organization are exposed to. There are internal differences, but in general, the new solution is well received among the employees and it seems like their user experience is slightly increased. Regarding security awareness, the results provide both factors that increase awareness and other factors that decrease awareness.

All the findings together imply that the total security is increased in the case organization after implementing the new security solution for email. The security is not perfect, and there is still room for improvements to the system. For improved security, the key message to organizations planning to introduce similar systems is to ensure that the employees have sufficient knowledge to utilize the systems correctly. For the users, it is important to remember that even though there are new and improved systems, they can never completely trust a system, so their human filter has to remain.