Silkeborg Hovedgård var allerede i 1840 noget faldefærdig. Den nykårne konge Chr. 8 besøgte det år området, og ved den lejlighed blev hovedgården sat i stand. I samtiden var der nogen kritik af denne lukus - at renovere den forfaldne hovedbygning - men i dag må vi antage, at dette kongelige besøg i 1840 reddede Silkeborg Hovedgård for eftertiden.
Papirfabrikant Michael Drewsen brugte Silkeborg Hovedgård en ganske kort overgang, indtil hans egen villa stod færdig på fabriksområdet i anden halvdel af 1840'erne. Den unge nybyggerby Silkeborg brugte herefter Silkeborg Hovedgård til byens skole (frem til 1859), kirkesal (frem til 1877) og posthus (frem til 1906). Staldlængerne - i Østre Længe og Vestre Længe - var allerede fra 1840'erne omdannet til lejligheder til papirarbejderne og deres familier. Østre Længe og Vestre Længe blev nedrevet omkring 1. verdenskrig, og kun en lille stump af Vestre Længe (Chr. 8 Vej 52) er bevaret og er i dag et museumsanneks med udstillinger om arbejderliv i Silkeborg.
Familien Peter Jessen ejede Silkeborg Hovedgård (hovedbygningen) i perioden ca. 1910-1938 og brugte ejendommen til privatbolig. Efter Peter Jessens død i 1938, købte Silkeborg Kommune Hovedgården og indrettede byens børnehave i den østlige ende af hovedbygningen. Dronning Louises Asyl havde til huse på Hovedgården i perioden 1940-1975.
Silkeborg Museumsforening kunne i januar 1954 indvie byens museum i Hovedgården. Allerede i 1951 havde museet fået overdraget et par lokaler til museumsudstilling, men i 1954 overtog Silkeborg Museum den anden (den vestlige) halvdel af hovedbygningen. Silkeborg Museum overtog hele Silkeborg Hovedgård i 1975, og museet foretog i 1990-91 en udvidelse af museet med en nybygning i museumshaven.