Human Pose Estimation Using a Two-Staged Convolutional Neural Network

Abstract

Human pose estimation, metoden for å lokalisere menneskelige kroppsdeler, har i de siste årene blitt et populært forskningsfelt grunnet sitt brede applikasjonsdomene. Til tross for denne populariteten er metoden fortsatt vanskelig å utføre grunnet skjulte kroppsdeler, lavoppløselige bilder og dens generelle kompleksitet. Vi utforsker hvordan konvolusjonelle nevrale nettverk og dyplæringsteknikker kan tas i bruk for å øke kvaliteten på detekteringen av kroppsbevegelser, spesielt for medisinsk bruk. Disse dyplæringsteknikkene kan videre brukes til å detektere fidgety movements, komplekse, sirkulære bevegelser, der fraværet av slike bevegelser er en sterk indikator for cerebral parese. En automatisering av denne detekteringsprosedyren kan være av høy verdi ettersom dagens kvalitative metoder er avhengig av svært erfarne observatører. Metodene har derfor sine begrensninger innenfor medisinsk bruk.

Visjonen til dette prosjektet er å komme med verdifulle bidrag til InMotion prosjektet, et samarbeidsprosjekt mellom St. Olavs Universitetssykehus og Norges teknisk-naturvitenskapelige universitet. Vi foreslår en to-stegs nettverksarkitektur i et forsøk på å forbedre prediksjoner for ekstremiteter. Første steg av nettverket produserer en approksimasjon av alle kroppspunkter, mens andre steg fokuserer på nøyaktig prediksjon av ekstremiteter. Ved å utnytte en betydelig mengde data, og ved å utføre prediksjoner av høy kvalitet for ekstremiteter viser vi til en økning i den totale presisjonen for prediksjon av ekstremiteter.

Human Pose Estimation, the task of localizing human joints, has become a popular research field in recent years because of its broad application domain. However, it still remains a challenging task due to occlusions, low resolutions, and overall complexity. We investigate how convolutional neural networks and deep learning techniques can enhance the quality of automated tracking of movements, especially for medical purposes. These techniques can further be employed to track fidgety movements, complex and circular movements of small amplitude, whose absence is a strong indicator of cerebral palsy. An automatization of this tracking process could be of high value, as the qualitative metric of today's methods suffers from the dependency of highly experienced observers and is thus limited in clinical practice.

The vision for this project is to make valuable contributions to the InMotion project, a collaboration between St. Olav's University Hospital and the Norwegian University of Science and Technology. We propose a new, two-staged network architecture in an attempt to improve the prediction quality of extremities. The first stage of the network produces an approximation of all body parts, while the second stage focuses solely on extremities. By exploiting a larger quantity of data and performing high-quality predictions for extremities, our method increases precision for predicted extremities measured at lower thresholds.