I løbet af 1950’ern opstod der jazzklubber overalt i landet. I 3. marts 1959 fik Silkeborg sin første jazzklub med eget lokale. Den fik navnet Jazzklub Jazzclub Down Town. Den - og hermed var indrettet i [[Sønderport]]s gamle kokskælder og unge silkeborgensere strømmede grunden lagt til. Der var næsten udelukkende traditionel jazz på programmet, og man klarede sig uden servering af alkoholen helt ny ungdomskultur.
I 1960 flyttedes aktiviteten til Down Town var indrettet i [[Fredensgades AfholdshotelSønderport]] ([[Fredensgade]] 5)s gamle kulkælder og unge silkeborgensere strømmede til. Det første orkester, der spillede, var Horsens Jazzværk og der var 120 betalende gæster.
Man havde dog til stadighed problemer med huslejen, så for at råde bod Der var næsten udelukkende traditionel jazz på det arrangerede man programmet i 1966 sejlads med jazzmusik på hjejlebådeneDown Town. Man klarede sig uden servering af alkohol, hvilket blev starten da klubben ikke havde bevilling. Et medlemskort kostede 2 kr. og var til salg hos [[Skoleboghandelen]] på [[Riverboat Jazz FestivalSkoletorvet]].
I 1968 flyttede jazzklubben atter til nye lokaler - denne gang til et hus i gården 1961 flyttedes aktiviteten til [[DrewsensvejFredensgades Afholdshotel]] 52, hvor ([[Silkeborg ForniklingsanstaltFredensgade]] hidtil havde haft til huse5), hvor der i gården var en velegnet bygning med sal, der tjente som danseskole i dagtimerne.
Det I maj 1963 måtte klubben flytte igen - denne gang til Drewsensvej 52 i [[Silkeborg Forniklingsanstalt]]s tidligere lokaler, som man havde lejet sammen med [[Silkeborg Bordtennisklub]]. Lokalerne blev indrettet efter alle kunstens regler - der blev revet skillevægge ned, lagt nyt gulv, malet og installeret lys og væggene blev beklædt med rafter. Datidens hotte band i Silkeborg [[Bourbon Street Jazzband]] blev på dette tidspunkt Down Towns husorkester. Klubben var efterhånden blevet en af landets største jazzklubber med 1.500 medlemmer - heraf dog kun 500 i en aflægger i Viborg. Man havde til kort tid på denne adressestadighed problemer med huslejen, da så for at råde bod på det arrangerede man allerede i 1966 sejlads med jazzmusik på hjejlebådene. Det blev starten på [[Riverboat Jazz Festival]]. 18. maj 1968 holdt man en stor afskedsfest med lokalerne på Drewsensvej, derefter blev der i en periode arrangeret musikaftener i [[Den folkelige Forsamlingsbygning|Forsamlingsbygningen]] på [[Vestergade]]. Først 4. januar 1969 flyttede kunne man igen slå dørene op til helt nyindrettede lokaler - denne gang i en gammel staldbygning i gården til [[Hotel Silkeborg (Estrupsgade 19)]].
Down Town kunne ikke overleve den omflakkende tilværelse. Klubben gik fallit - bl.a. på grund af manglende afdrag på et klaver - og lukkede ved juletid 1969.