Fattiggården Frydensbjerggaard blev indviet i oktober 1902 og afløste den tidligere fattiggård, som lå i [[Nygade ]] på det sted, der nu er midt i [[Tværgade ]] mellem Nygade og [[Markedspladsen]]. Tværgade var den gang ikke ført igennem, men gik kun mellem Vestergade og Nygade. Fattiggården anlagdes på "[[Frydensbjerg]]" - det bakkedrag, der ligger øst for [[Remstrup Å ]] og ovenfor Havnen i Silkeborg og som i dag kendes under navnet "[[Århusbakken]]".
Frydensbjerggaard blev bygget, fordi den gamle fattiggård var så forfalden, at man ikke kunne være den bekendt. Der var ganske stor strid i byrådet, om der skulle være landbrug knyttet til den nye fattiggård eller ej. Den endelige beslutning på byrådsmødet den 13/1 1902 afgjorde, at det skulle der. Gården opførtes for en samlet pris på lidt over 28.000 kr.