Hovedgårdsvej figurerer i skattemandtalslisterne de første år af 1920'erne under navnet "Hoffsvej" - efter ritmester [[Hans Nicolai Hoff]], som i 1767 opførte hovedgårdsbygningen efter sin overtagelse af Silkeborg og store dele af egnen. Gaden fik dog meget hurtigt herefter det mere retvisende navn "Hovedgårdvej".
[[Silkeborg Hovedgård]] for enden af vejen (Hovedgårdsvej 7) har gennem tiden haft mange funktioner. Her har været indkvartering under kongebesøg. Efter byens opkomst Her boede papirfabrikant Michael Drewsen indtil hans store [[Drewsens Villa|villa]] stod færdig i 1847. Derefter blev den brugt af byen til at huse byens forskellige formål: [[Silkeborg Arrest|arrest]] (frem til 1857) [[Borgerskolen|skole ]] (frem til 1859), [[Silkeborg Kirke|kirkesal ]] (frem til 1877) og posthus [[Silkeborg Posthus|posthuset]] (frem til 1906). Hovedgårdens længer - [[Østre Længe]] og [[Vestre Længe]] - var blev allerede fra 1840'erne i 1844 omdannet til lejligheder til for papirarbejderne og deres familier.
I 1906 erhvervede manufakturhandler [[Peter Jessen]], en af Silkeborgs rigeste mænd, den gamle hovedgård til privatbolig. Efter hans død i 1938, købte Silkeborg Kommune bygningen. En årrække var her både Dronning Louises Asyl ([[Dronning Louises Børnehave]]) og museum. Siden kom [[Silkeborg Museum]] til at disponere over hele bygningen.