Fattiggården Frydensbjerggaard blev indviet i 1902 og afløste den tidligere fattiggård, som lå i Nygade på det sted, der nu er midt i Tværgade mellem Nygade og Markedspladsen. Tværgade var den gang ikke ført igennem, men gik kun mellem Vestergade og Nygade.
Frydensbjerggaard blev bygget, fordi den gamle fattiggård var så forfalden, at man ikke kunne være den bekendt. Der var ganske stor strid i byrådet, om der skulle være landbrug knyttet til den nye fattiggård eller ej. Den endelige beslutning på byrådsmødet den 13/1 1902 afgjorde, at det skulle der. Gården opførtes for en samlet pris på lidt over 28.000 kr.
Gården fungerede nu på godt og ondt som fattiggård (arbejds- og forsørgelsesanstalt) i 41 år. Der var skiftende bestyrere, men ikke hyppige udskiftninger. Hver bestyrer fungerede i gennemsnit i omkring 10 år.
Frydensbjerggaard eksisterede som fattiggård indtil 1943, hvorefter den blev kommunens husvildebolig. Samme år byggedes 2 barakker med ialt 16 lejligheder på ca. 23 kvadratmeter i hver. Som vicevært ansattes Aage Rasmussen.
I august 1962 nedbrød man gården såvel som barakkerne, og nu ligge ligger Sygeplejehøjskolen nøjagtigt der, hvor fattiggården lå på Høgevej 12, men intet spor er tilbage af den.