[[Billede:vorfrue2.jpg|thumb|200px|De katolske Sct. Josephs Søstre, 1940]]
Det var dog vanskeligt at opretholde denne virksomhed, hvorfor man i 1942 måtte lukke børnehjemmet og i 1949 kirkeskolen. Man fortsatte derefter med en børnehave "[[Den katolske Børnehave]]", som søstrene drev frem til 1973, hvorefter den på grund af deres høje alder overgik til den selvejende institution “[[Vor Frue Sogns Børnehave]]”.
I 1978 rejste Sct. Joseph Søstrene fra byen og menigheden fik brugsret over ejendommen. Børnehaven ophørte i 2000 og bygningen blev derefter delvist udlejet til erhvervsformål, dog råder menigheden fortsat over lokaler i bygningen.