Combining Lexical and Semantic Search for Blocking

Abstract

B˚ade dyp læring og leksikale søkemetoder har vist stort potensial for˚a løse blokking i sammenheng med entity matching. Imidlertid er det gjort lite forskning p˚a metoder som kombinerer dyp læring og leksikale teknikker. Med de nylige fremskrittene innen embeddingmodeller, har vi forsøkt ˚a utnytte deres evne til ˚a fange semantisk informasjon ved ˚a kombinere semantiske og leksikale søketeknikker. Vi har implementert blockingalgoritmer ved bruk av Lucene tekstindekser og tekstuelle embeddinger. Vi har kjørt eksperimenter p˚a forskjellige datasett med disse implementatsjonene og sammenlignet deres blockingytelse. Resultatene vi har samlet inn viser ikke at en kombinasjon av semantiske og leksikale tilnærminger forbedrer blokkngsytelsen i særlig grad sammenlignet med den rent leksikale implemntasjonen. Til tross for dette, tror vi at noen av implementatsjonene kan vise seg˚a være verdifulle under de rette omstendighetene og at videre forskning trengs.

Both deep learning and lexical search methods have shown great promise for solving blocking in the context of entity matching. However, little research has been conducted on methods combining deep learning and lexical techniques. With the recent advancements in embedding models, we have sought to take advantage of their ability to capture semantic information by combining semantic and lexical retrieval techniques. We have implemented blocking implementations using Lucene text indexes and textual embeddings. We have run experiments on various datasets with these implementations and compared their blocking performance. The results we collected do not show that combining semantic and lexical approaches significantly improves blocking performance compared to our purely lexical implementation. Despite this, we believe some of the tested implementations could be worthwhile given the right circumstances and that further research is needed.