Sentiment Analysis of Nasdaq News

Abstract

Sentimentanalyse har de siste årene sett stor utvikling og oppløftende resultater innen en rekke felt innenfor finans. I denne oppgaven har vi brukt en dictionary-basert tilnærming for å analysere sentimentet i nyhetsartikler publisert på Nasdaq News. Avhandlingen er et forsøk på å se hvorvidt hypotesen om markeds effisiens holder, eller om det er muligheter for å utnytte ineffektivitet i markedet etter nyhetshendelser. Datasettet består av 1.4 millioner artikler fra forskjellige nyhetsleverandører, publisert i tidsperioden 2007--2019. Hvor nødvendig, ble tekstprosessering som "stemming" og "stop word removal" brukt på artikkelinnholdet før sentimentanalysen. Ordbøkene som er brukt og vurdert er: TextBlob, VADER og SentiWordNet. Sentimentanalysen gjennomført av de ulike ordbøkene ble brukt til å forutsi økning eller fall i aksjekursen ved hjelp av forskjellige klassifikatorer. Vi undersøkte finans, energi og teknologi sektorene. Videre sammenlignet vi modellene som presterte best for de forskjellige sektorene. Våre modeller med best F1 score ble implementert i en long/short handelsstrategi. Strategien viste at finans- og energisektoren hadde muligheter for god risikojustert avkastning, representert ved høy Sharpe-ratio. De samme metodene viste seg å ikke være i stand til å finne gode handelsmuligheter for teknologisektoren. Generelt genererte K-Nearest Neighbour (KNN) best resultater blant klassifikatorene. SentiWordNet presterte best totalt sett blant ordbøkene. Avhandlingen vår motsier ikke hypotesen om markedseffisiens. Likevel, kan funnene våre indikere at det er noen sektorer og tidsperioder der den sterkeste formen for markedseffisiens ikke holder. På bakgrunn av våre resultater finner vi det mer sannsynlig at en utelukkende dictionary-basert tilnærming med de brukte ordbøkene er en for enkel. Å oppnå unormal avkastning ved hjelp av våre modeller og handelsstrategier alene er vanskelig. Det gir imidlertid interessante muligheter til å bruke funnene våre som et handelssignal i en mer omfattende handelsstrategi.

Sentiment analysis has in the recent years seen improvement and promise in a variety of fields within finance. In this thesis, we have used a dictionary-based approach to analyse the sentiment of news articles published on Nasdaq News. The thesis is an attempt to see if the efficient market hypothesis (EMH) holds, or if there are opportunities to exploit inefficiencies in the market following news events. The dataset was made of $1.4$ million articles by various news providers published in the period 2007--2019. Where needed, text processing like stemming and stop word removal were applied to the article content before the Sentiment Analysis. The dictionaries used and evaluated are: TextBlob, VADER and SentiWordNet. The sentiment scores were used to predict rise or fall in the stock price by the help of different machine learning classifiers. We compared the best performing models from the three sectors evaluated. The sectors we looked at was the Finance, Energy and Technology sector. Models with the best F1 score was implemented in a long/short trading strategy. The research found that the Finance and Energy sector had opportunities for good risk adjusted returns, represented by high Sharpe ratio values. The same methods proved unable to find good trading opportunities in the Technology sector. Generally, the K-Nearest Neighbour (KNN) classifier seemed to be the best performing classifier and SentiWordNet the best suited dictionary on our dataset. Our thesis does not contradict the EMH, but our findings could indicate that there are some sectors and time periods in which the strongest form of the EMH does not hold. Based on our results, we find it more likely than not that a purely dictionary-based approach with the dictionaries examined is a too simple approach. Obtaining abnormal investments returns applying our models and trading strategy alone is difficult. It does, however, provide interesting opportunities in terms of using our findings as trading signals in a more comprehensive trading strategy.