I 1925 tog det hele for alvor fart, da man lavede en udstilling i bibliotekets store sal i anledning af byens 25 års købstadsjubilæum. Interessen for denne udstilling var meget stor, og Peder Nielsen fik lov til at beholde en stor del af de gamle fotografier, som interesserede silkeborgensere havde indleveret.
Peder Nielsen kaldte afdelingen for ”Lokalhistorisk Samling”, og den fortsatte med at vokse støt og roligt gennem årene. Der kom bøger, aviser, fotografier m.m. ind på hylderne, ligesom man opbyggede en omfattende avisudklipssamling. Der var efterhånden tale om et veludbygget arkiv, som også rummede væsentlige originale kilder til byens og egnens historie – eksempelvis med store arkiver fra Th. Langs Skoler, Silkeborg Papirfabrik, Hjejleselskabet, samt byens rige forenings- og forretningsliv repræsenteret i samlingerne. En anden guldgrube var de enorme samlinger af negativer fra lokale fotografer som [[Gunnar Mogensen]] og J[[ohannes Johannes Jensen]].
[[Billede:1992_45.jpg|thumb|256px|Arkivets bygning på Hostrupsgade.]]