Investigating the Usefulness of Simulators and Prototypes as Research Tools
Abstract
Økende kompleksitet i prosessordesign har gjennom årene gjort forskning innenfor datamaskinarkitektur mer komplisert. For å forenkle forskningsprosessen har mange forskere begynt å bruke simulatorer som gem5, som muliggjør raskere modellering og utforskning av designmuligheter. Simulatorer bruker forenklede modeller som tar utgangspunkt i reelle designer. Simulatorer gir mange fordeler, men uten grundig kunnskap om deres begrensinger kan det oppstå unøyaktigheter som gjør forskningen mindre presis.
Denne oppgaven implementer en ledende sikkerhetsteknikk, Delay-on-Miss, på både gem5 og Berkeley out-of-order machine og utforsker fordelene og begrensingene ved bruk av både simulatorer og hardwareprototyper som forskningsverktøy. Våre funn indikerer at hardware-prototyping er velegnet for presise estimeringer av viktige egenskaper slik som størrelseskostnader. I tillegg er hardware protoyping nødvendig for å oppdage designbegrensinger som ikke er intuitive når man bruker simulatorer. For simulatorer viser vi at det er mulig å oppnå presise resultater under visse omstendigheter, samtidig som det er tydeligere hvordan designforandringer påvirker ytelsen grunnet bedre innsyn.
I tillegg til å forske på nytteverdien til både simulatorer og hardwareprototyper bidrar denne oppgaven til å videreutvikle forskning om Delay-on-Miss. Så vidt vi vet er dette det første forskningsverket som bekrefter at Delay-on-Miss kan implementeres i hardware. Analyse av hardwareprototypen gir en størrelseskostnad på 2.5% og et ytelsestap på 20%. Disse resultatene er veldig lik resultatene som ble rapportert fra oppfinneren av Delay-on-Miss. I tillegg til andre resultater verifiserer vi at prototype ikke forverrer timingegenskapene til hardwareplatformen.
Hovedbidragene fra denne oppgaven er å vise at simulatorer kan gi nøyaktige resultater for kvantitative data når man tar hensyn til begrensingene, og hvordan det er mulig å begrense unøyaktigheter når simulatorer brukes som forskningsverktøy. Oppgaven styrker troverdigheten til simulatorer som en bærebjelke innenfor forskning om datamaskinarkitektur, og presenter et nyansert bilde av verdien til både simulatorer og hardwareprototyper. Processors design has become highly complex over the years, which has complicated computer architecture research. To simplify the research process, many researchers therefore utilize simulators, such as gem5, to be able to more quickly model and explore design changes. Simulators model simplified versions based on real designs, and although they provide many benefits, using them while unaware of their limitations can introduce pitfalls that reduce the accuracy of research. Hardware prototyping remains an alternative to using simulators, but is generally too time-consuming for research, despite providing further insights.
This thesis implements a state-of-the-art security technique, Delay-on-Miss, on both the gem5 simulator and the Berkeley out-of-order machine, and uses the two implementations to investigate the benefits and limitations simulators and hardware prototyping provide as research tools. Notably, we find that hardware prototyping is suited to giving accurate estimations of key properties such as size overhead, and is vital to discovering design limitations that are not intuitive in a simulator design space. For simulators, we show that it is possible to achieve near-identical quantitative results to a hardware prototype under certain circumstances, all the while achieving greater insight into the mechanisms by which design changes affects performance.
In addition to investigating the usefulness of simulators and hardware prototypes, this work furthers research of Delay-on-Miss. To the best of our knowledge, this is the first work to verify Delay-on-Miss on a hardware prototype. We find that the hardware prototype incurs a size overhead of 2.5% and a performance slowdown of 20%, results that align closely with previous research results from the authors of the technique. We also verify that the implementation of DoM does not affect the critical path on BOOM.
The key contributions of this thesis are showing that simulators can achieve a high level of accuracy for numerical results when limitations are addressed, and how to reduce inaccuracies when performing research using simulators. This thesis therefore strengthens the credibility of simulators as a valuable cornerstone of the computer architecture field, and provided a nuanced view on the value of simulators and hardware prototyping.