I løbet af 1950’ern opstod der jazzklubber overalt i landet. I marts 1959 fik Silkeborg sin første jazzklub med eget lokale. Den fik navnet Jazzklub Down Town. Den var indrettet i [[Sønderport]]s gamle kokskælder og unge silkeborgensere flokkedes dertilstrømmede til. Der var næsten udelukkende traditionel jazz på programmet, og man klarede sig uden servering af alkohol.
I 1960 flyttedes aktiviteten til [[Fredensgades Afholdshotel]] ([[Fredensgade]] 5).