Skovbakken fik dog ingen øjeblikkelig succes, og i 1906 var der tvangsauktion over stedet. Men det overlevede og udviklede sig gennem årtierne.
På et tidspunkt var det også hotel. Skovbakken blev grundigt renoveret i 1957. Omkring 1980 blev Skovbakken en selvejende institution oprettet af Frimurerlogen, og Skovbakken genåbnede i 1980 uden dagrestauration - men som spisested til selskaber og møder.
Restaurant Skovbakken ligger fortsat på en dejlig og central placering i Silkeborg midt nær skov og med udsigt til Remstrup å (Gudenåen). Restaurantens aktuelle formåen og tilbud kan læses på dens hjemmeside.