Annaborg blev bygget 1782-83 af amtsforvalter F.C. Brammer, som opkaldte huset efter sin kone,  Anna.

Gården var oprindelig en firelænget gård, hvor kun hovedbygningen er bevaret. Ud imod gaden lå en længe i bindingsværk, hvor amtsstuen havde kontorer. De to længer var forbundet med en bygning med bl.a. hestestald og amtsstuens arkiv. Den modsatte længe var lade med plads til de afgrøder, som bønderne måtte betale i afgift.

De tre længer blev revet ned i slutningen af 1940'erne. Huset blev derefter brugt af Frederiksborg Amt som kontorer bl.a. af vejvæsenet og sundhedsvæsenet. Efter nedlæggelsen af amtet i 2007 overgik hovedbygningen til Hillerød Kommune.

I 2010 fik Hillerød Kunstforening bygningen til udstillingsvirksomhed. Bygningen ejes fortsat af Hillerød Kommune.