Automatic Penalty Parameter Selection for the Distributed Alternating Direction Method of Multipliers

Abstract

Distribuerte optimaliseringsalgoritmer har blitt populære, delvis på grunn av den økende utbredelsen av innvevde systemer som kan kommunisere. En slik algoritme er Alternating Direction Method of Multipliers. En utfordring er at ytelsen er følsom for valget av den såkalte straffeparameteren. Denne oppgavens hovedformål er å utforske nye metoder for automatisk valg av straffeparameteren. To metoder ble evaluert, men bare én metode ga lovende resultater. En begrensning ved metoden er at dens hyperparametre må velges av brukeren, men siden metoden baserer seg på enkle prinsipper er det lettere å velge disse hyperparametrene enn å velge straffeparameteren. En annen begrensning er at optimaliseringsalgoritmen hadde en tendens til å divergere når komplette grafer ikke ble brukt, men det spesifikke problemet som lå til grunn for dette ble identifisert.

Distributed optimization algorithms have become popular, in part due to the increasing prevalence of embedded systems with communication capabilities. The Alternating Direction Method of Multipliers is one such algorithm. One concern is that its performance is sensitive to the selection of the so-called penalty parameter. The contribution of this thesis is to explore novel methods for automatically selecting the penalty parameter. Two methods were explored, but only one method saw promising results. A limitation of the method is that its hyperparameters must be selected by the user, but it is easier to select these hyperparameters than to select the penalty parameter, due to their straightforward interpretation. Another limitation is that the optimization algorithm tended to diverge when not using complete graphs, but the specific issue underlying this problem was identified.