Gennem årene flyttede arkivet flere gange inden for bibliotekets rammer. I 1982 flyttede det ind i [[Anton Rosen]]s historiske bygning på [[Hostrupsgade 41]] ([[Forskoleseminariet]]), da [[Silkeborg Kunstmuseum]] rykkede ud i den helt nye bygning i [[Indelukket]]. Bygningsinspektør Lisberg havde stået i spidsen for en renovering af lokalerne med respekt for husets sjæl, og malermester [[Erland Vendeltorp]] stod for en meget smuk farvesætning af vægge og paneler. Arkivet fik masser af plads, og kunne som noget nyt indrette en rummelig læsesal med møblerne fra den gamle byrådssal.
I 1991 købte [[Galerie Moderne ]] huset på [[Hostrupsgade]], hvorefter arkivet i 1992 kunne slå dørene op til de nuværende lokaler - et nyt byggeri, som blev opført i tilknytning til biblioteket, i det nordøstlige hjørne ud til [[Bindslevs Plads]].
I forbindelse med, at arkivet i 1992 flyttede ind i de nye lokaler på [[Silkeborg Bibliotek]], tog man konsekvensen af, at der ikke længere blot var tale om en ”samling”, men et egentligt arkiv – navnet blev derfor “Silkeborg Lokalhistoriske Arkiv”.
Fra starten blev opgaven med indsamling, registrering og bevaring varetaget af bibliotekarerne på læsesalen. I 1974 blev Jan Horskjær ansat som arkivets første leder – i første omgang på deltid og fra 1979 som fuldtidsansat. Lis Thavlov var leder af arkivet fra 1983 til 1990. I 1986 blev der tilført yderligere et halvt årsværk. Fra 1990 til 2006 var Hanne Arent arkivets leder. I forbindelse med overgangen til kommunarkivstatus vendte Lis Thavlov tilbage som leder. Samme år blev personalet forøget til i alt 4 årsværk.