Når Silkeborg allerede i 1864 fik børnehave eller asyl som det hed, var det fordi byen havde en stor andel af unge arbejdende kvinder. De havde svært ved at finde forsvarlig pasning til deres børn. Mange gange tog ældre søskene sig af opgaven, hvis de ikke bare passede sig selv. Det havde ført til en del ulykker og der var derfor god grund til at skaffe ordentlig pasning til børn af arbejdende kvinder.
Bag oprettelsen af asylet stod en bestyrelse på 15 af byens damer. Finansieringen kom fra frivillige donationer og ikke mindst et beløb fra kongehuset. Det første år blev 24 børn optaget og tiden blev ikke spildt, men brugt på undervisning og bibelfortælleingerbibelfortællinger.
=== Egen bygning ===