I løbet af 1950’ern opstod der jazzklubber overalt i landet. I marts 1959 fik Silkeborg sin første jazzklub med eget lokale. Den fik navnet Jazzklub Down Town. Den var indrettet i Sønderports gamle kokskælder og unge silkeborgensere strømmede til. Der var næsten udelukkende traditionel jazz på programmet, og man klarede sig uden servering af alkohol.
I 1960 flyttedes aktiviteten til Fredensgades Afholdshotel (Fredensgade 5).
Man havde dog problemer med huslejen, så for at råde bod på det arrangerede man i 1966 sejlads med jazzmusik på hjejlebådene, hvilket blev starten på Riverboat Jazz Festival.
I 1968 flyttede jazzklubben atter til nye lokaler - denne gang til et hus i gården til Drewsensvej 52, hvor Silkeborg Forniklingsanstalt hidtil havde haft til huse.
Det blev dog kun til kort tid på denne adresse, da man allerede i 1969 flyttede til en gammel staldbygning i gården til Hotel Silkeborg (Estrupsgade 19).
Down Town kunne ikke overleve den omflakkende tilværelse. Klubben gik fallit - bl.a. på grund af manglende afdrag på et klaver - og lukkede ved juletid 1969.
En af klubbens bestyrelsesmedlemmer, Ebbe Johnsen, gav dog ikke op, så i april 1970 åbnede et nyt jazzhus med navnet Stalden, som havde til huse Down Towns tidligere men udvidede lokaler ved siden af Hotel Silkeborg.