Fattiggården Frydensbjerggaard blev indviet i oktober 1902 og afløste den tidligere fattiggård, som lå i Nygade på det sted, der nu er midt i Tværgade mellem Nygade og Markedspladsen. Tværgade var den gang ikke ført igennem, men gik kun mellem Vestergade og Nygade. Fattiggården anlagdes på "[[Frydensbjerg]]" - det bakkedrag, der ligger øst for Remstrup Å og ovenfor Havnen i Silkeborg og som i dag kendes under navnet "Århusbakken".
Frydensbjerggaard blev bygget, fordi den gamle fattiggård var så forfalden, at man ikke kunne være den bekendt. Der var ganske stor strid i byrådet, om der skulle være landbrug knyttet til den nye fattiggård eller ej. Den endelige beslutning på byrådsmødet den 13/1 1902 afgjorde, at det skulle der. Gården opførtes for en samlet pris på lidt over 28.000 kr.