Silkeborg Hovedgård var allerede i 1840 noget faldefærdig. Den nykårne konge Chr. 8 besøgte det år området, og ved den lejlighed blev hovedgården sat i stand. I samtiden var der nogen kritik af denne lukus - at renovere den forfaldne hovedbygning - men i dag må vi antage, at dette kongelige besøg i 1840 reddede Silkeborg Hovedgård for eftertiden.
Papirfabrikant [[Michael Drewsen]] brugte Silkeborg Hovedgård en ganske kort overgang, indtil hans egen villa stod færdig på fabriksområdet i anden halvdel af 1840'erne. Den unge nybyggerby Silkeborg brugte herefter Silkeborg Hovedgård til byens skole (frem til 1859), kirkesal (frem til 1877) og posthus (frem til 1906). Staldlængerne - Østre Længe og Vestre Længe - var allerede fra 1840'erne omdannet til lejligheder til papirarbejderne og deres familier. [[Østre Længe]] og [[Vestre Længe]] blev nedrevet omkring 1. verdenskrig, og kun en lille stump af Vestre Længe ([[Christian 8.s Vej 52]]52) er bevaret og er i dag et museumsanneks med udstillinger om arbejderliv i Silkeborg.
Familien [[Peter Jessen]] ejede Silkeborg Hovedgård (hovedbygningen) i perioden ca. 1910-1938 og brugte ejendommen til privatbolig. Efter Peter Jessens død i 1938, købte [[Silkeborg Kommune]] Hovedgården og indrettede byens børnehave i den østlige ende af hovedbygningen. [[Dronning Louises Asyl]] havde til huse på Hovedgården i perioden 1940-1975.