Peder Nielsen kaldte afdelingen for ”Lokalhistorisk Samling”, og den fortsatte med at vokse støt og roligt gennem årene. Der kom bøger, aviser, fotografier m.m. ind på hylderne, ligesom man opbyggede en omfattende avisudklipssamling. Der var efterhånden tale om et veludbygget arkiv, som også rummede væsentlige originale kilder til byens og egnens historie – eksempelvis med store arkiver fra Th. Langs Skoler, Silkeborg Papirfabrik, Hjejleselskabet, samt byens rige forenings- og forretningsliv repræsenteret i samlingerne. En anden guldgrube var de enorme samlinger af negativer fra lokale fotografer som [[Gunnar Mogensen]] og J[[ohannes Jensen]].
[[Billede:1992_45.jpg|thumb|256px|Arkivets bygning på Hostrupsgade.]]
Gennem årene flyttede arkivet flere gange inden for bibliotekets rammer. I 1982 flyttede det ind i [[Anton Rosen]]s historiske bygning på [[Hostrupsgade 41]] ([[Forskoleseminariet]]), da [[Silkeborg Kunstmuseum]] rykkede ud i den helt nye bygning i [[Indelukket]]. Bygningsinspektør Lisberg havde stået i spidsen for en renovering af lokalerne med respekt for husets sjæl, og malermester [[Erland Vendeltorp]] stod for en meget smuk farvesætning af vægge og paneler. Arkivet fik masser af plads, og kunne som noget nyt indrette en rummelig læsesal med møblerne fra den gamle byrådssal.