A scalable approach to video indexing and search for use in the identification of fragmented and transformed image/video files

Abstract

Selv om det for et par år siden var både mulig og normalt å bruke tradisjonelle relasjonsdatabaser for de fleste typer datalagring, har det i de senere årene blitt vanskeligere og vanskeligere å håndtere eksponentielt økende datamengder. Det har derfor måttet blitt gjort nye innovasjoner innenfor video identifikasjons feltet, for å muliggjøre både rask indeksering og behandling av data i større skala. En av disse innovasjonene er pyClipNSearchIt, som er en ny video identifikasjonsmetode skreddersydd for bruk i prosesseringen av "big data". Dette har vi oppnådd gjennom en kombinasjon av smart design, samt bruk av metoden FENSHES for å gjennomføre hemming distanse kalkulasjoner direkte i NoSQL søk. Konsekvent har dette medført en betydelig forbedring innen målbare områder som hastighet, størrelsesreduksjon og nøyaktighet i sammenligning med tidligere kjente metoder som PYVIDID. Det endelige slutt resultatet er derfor et mer skalerbart og kostnadseffektivt video identifikasjons system, som enkelt kan benyttes av både profesjonelle og ikke-profesjonelle aktører.

Although a decade ago it was both feasible and normal to use standard relational databases for most types of data storage, the amount of generated data has since then grown exponentially, requiring new innovations to be made in the way of both indexing and processing methods. This, to enable performing video identification at a sufficient enough scale. As such we have in this thesis developed pyClipNSearchIt, which is a highly performant video identification method especially tailored for big data applications. Using a combination of smart architectural design, as well as the cutting edge FENSHES technique for performing hemming distance comparisons inside full-text NoSQL engines, we display in our approach a significant improvement over earlier available video identification methods such as PYVIDID. Specifically, in measureable areas such as speed, size reduction and accuracy. The final result is a highly scalable and cost efficient system, which can easily be used by professional and non-professional actors alike.