Database and storage layer integration for cloud platforms

Abstract

Tjenester og programvareløsninger har i senere år sett en overgang til skyplattformer. Flere plattformer, som Amazon og Alibaba, tilbyr databaseløsninger som egne tjenester. Disse databasene må kunne skalere godt for å møte forventningene til krevende kunder. En av innovasjonene som er gjort er å separerere databehandlingslaget fra lagringslaget, og slik tillate uavhengig skalering av disse. Andre grep som typisk gjøres, er å tilpasse systemene for å passe inn med den underforliggende arkitekturen til skyplattformene. Vi vil i denne oppgaven presentere enkelte av de databasessystemene som har gjort disse endringene, og se hvor tilnærmingene deler fellestrekk, og hvor de skiller seg fra hverandre. Vi vil også utføre ytelsestester under forskjellig last, og knytte resultatene opp mot endringene i arkitektur. Alibaba har i tillegg gitt eksklusiv tilgang til tjenesten PolarDB, som på dette tidspunktet i utgangspunktet kun er tilgjengelig i Asia. Resultatene viser at Amazon Aurora yter relativt bra, men tallene er noe lavere enn hva Amazon selv oppgir. Vi vil se at Aurora først yter bra ved mange tilkoblinger til databasen. RDS MySQL-tjenesten er på mange måter kapabel i å følge Aurora både for lese og skrivelast, og forbigår av og til Aurora. PolarDB viser god lese og skriveytelse, og kommer ut på topp for de fleste tester når sammenlignet mot lignende maskinvare og oppsett som Amazons tjenester.

Services and software deployments have in recent years increasingly moved to the cloud. Platforms such as Amazon and Alibaba offer databases as a managed service. These databases must be able to scale well to meet customers needs. One of the innovations done is to separate the compute and storage components of the traditional database system, allowing for independent scaling of these components. Various other innovations have also been made to facilitate the underlying architecture. We will in this paper present some of the systems that have made these changes, and see where their approaches are similar and where they differ. We also present benchmark tests to see how well these systems perform under various workloads, and tie these results up to the architectural changes made. This gives an insight into how well theory matches practice. Alibaba has additionally granted exclusive access to their PolarDB database offering, which is at this point only commercially available in Asia. The results show that while Amazon Aurora performs reasonably well; the benchmarks are slightly lower than the results obtained by Amazon. We will see that Aurora is first able to perform well with many database connections. The RDS MySQL service is able to follow Aurora in terms of read and write performance, and sometimes outperform Aurora on similar hardware. PolarDB show strong read and write performance, and tops out most tests when compared to similar hardware from the Amazon services.