The Norwegian electoral system: a study of EVA Skanning, implemented error detection mechanisms, and applicability of risk-limiting audits

Abstract

Det norske valgsystemet er definert som en kombinasjon av manuelle og maskinelle prosesser. Stemmegivningen i seg selv er en manuell prosess, der den stemmeberettigede legger en stemmeseddel manuelt i en urne. Alt forberedende arbeid og stemmeseddeltelling, derimot, blir simplifisert ved bruk av datasystemet Elektronisk Valgadministrasjonssystem (EVA). Før valget i 2017 var det spekulasjoner relatert til mulige sikkerhetssårbarheter ved datasystemet, hovedsakelig ved det elektroniske stemmeseddeltellesystemet, EVA Skanning. I tillegg var det spekulasjoner knyttet til ikke-pålitelige mekanismer for å oppdage feil.

Komplekse programvaresystemer er notorisk vanskelig å sikre, og kan ikke garanteres å være fullstendig sikre. Derfor må et teknologiavhengig valgsystem implementere pålitelige mekanismer for å oppdage feil. En pålitelig mekanisme for å oppdage feil er definert som en mekanisme som sikrer programvareuavhengig. Programvareuavhengighet betyr at en uoppdaget feil i programvaren er uegnet til å forårsake en uoppdagbar feil i valgresultatet. Konseptet risiko-begrensende revisjoner er sett på som den beste metoden for å oppdage feil i valgsystemer. Konseptet sikrer programvareuavhengighet ved å manuelt undersøke revisjonsstien (f.eks. papirstemmesedler) strategisk, og stopper når revisjonen gir tilstrekkelig bevis for riktig resultat. Risikobegrensende revisjoner er foreløpig ikke implementert i det norske valgsystemet.

Målene med denne mastergradsoppgaven er å undersøke sikkerheten til EVA Skanning, vurdere påliteligheten av det norske valgsystemets nåværende mekanismer for å oppdage feil, og analysere om og hvordan risikobegrensende revisjoner burde implementeres. Blandet metodeforskning er utført i form av halvstrukturerte intervjuer med systemingeniører, operatører og ledere, eksperimentell testing av EVA Skanning, og en kvalitativ analyse av revisjonsalgoritmer. Oppgaven presenterer metodikk for de gjennomførte undersøkelsene, tilsvarende resultater og diskusjoner, og til slutt, avsluttende bemerkninger.

Hovedfunnene indikerer at EVA Skanning ikke er tilstrekkelig sikret. Valg av arkitektur og protokoller er ikke entydig motivert av sikkerhet, men heller av praktiske hensyn. Funnene indikerer også at påliteligheten til eksisterende mekanismer for å oppdage feil er svak. Hovedmekanismen for å oppdage feil er å sammenligne det manuelle og elektroniske resultatet. Gitt avvik, blir det gjennomført en elektronisk omtelling. En elektronisk omtelling undergraver det manuelle resultatet, og dermed rettferdiggjør to elektroniske teller. Grunnet dårlig sikkerhet og lav pålitelighet knyttet til mekanismer som oppdager feil, bør risikobegrensende revisjoner innføres i det norske valgsystemet. To algoritmer diskuteres i denne mastergradsoppgaven: ballot polling audits og comparison audits. Av de to, anses comparison audits som den mest hensiktsmessige algoritmen for det norske valgsystemet.

The Norwegian electoral system is defined by a combination of manual and computerised processes. The voting itself is a manual process where the voter submits a paper ballot into an urn. All preparatory work and ballot counting, however, are simplified using the computer system Elektronisk Valgadministrasjonssystem (EVA). Prior to the election in 2017, there were speculations related to possible security vulnerabilities within the computer system, specifically the electronic ballot counting system, EVA Skanning. In addition, there were speculations related to non-reliable error detection mechanisms.

Complex software systems are notoriously difficult to secure and cannot be guaranteed to be perfect or secure. Therefore, a technology-dependent electoral system must implement reliable error detection mechanisms. A reliable error detection mechanism is defined as a mechanism that enforces software-independence. Software-independence means that an undetected error in software is incapable of causing an undetectable error in the election outcome. The concept of risk-limiting audit is considered best-practice for error detection in electoral systems, and enforces software-independence by manually examining the audit trail (e.g. paper ballots) strategically, and stops when the audit yields sufficient evidence of correct result. Risk-limiting audits are not currently implemented in the Norwegian electoral system.

The objectives of this master's thesis are to research the level of security within EVA Skanning, assess the reliability and performance of the currently implemented error detection mechanisms in the Norwegian electoral system, and analyse if, and how, risk-limiting audits should be applied. Mixed methods research is performed in form of semi-structured interviews with system engineers, operators, and managers, experimental testing of EVA Skanning, and a qualitative analysis of risk-limiting audit algorithms. The thesis provides methodology for the conducted research, corresponding results and discussion, and finally, conclusive remarks.

The main findings indicate that EVA Skanning is not sufficiently secured. Choice of architecture and protocols are not entirely motivated by security, but rather by practical considerations. The findings also show that the reliability of the currently implemented error detection mechanisms is low. The primary error detection mechanism is to compare the manual and electronic ballot counting result. Given deviation, a recount is performed electronically. An electronic recount undermines the manual result, and thereby justifies two electronic counts. Due to poor security and low reliability of error detection performance, risk-limiting audits should be applied to the Norwegian electoral system. Two algorithms are discussed in this master's thesis: ballot-polling audits and comparison audits. Of the two, comparison audits are considered to be the most appropriate algorithm.