I den imposante rødstensbygning i den vestlige ende, ud mod Hostrupsgade, ligger [[Silkeborg Bibliotek]]. Bygningen, som blev opført i 1918-1920 som beskæftigelsesprojekt, rummede på dette tidspunkt både bibliotek, badeanstalt og museum. I 1921 opførtes nordfløjen i bibliotekskomplekset, som oprindelig var planlagt til at rumme en brandstation, men som blev indrettet til kommunale kontorer for socialvæsen, arbejdsanvisning og stadsingeniør. På første sal indrettedes i 1934 børnebibliotek, som 1974 flyttedes til stueetagen. I 1957 og 1978 blev biblioteksarealet udvidet betydeligt i østlig retning, hvilket betød, at parken efterhånden blev mindre og til sidst erstattet af parkeringspladser. [[Badeanstalten]] ligger fortsat i kælderen til den gamle hovedbygnig ud mod Hostrupsgade.
Den sydlige side har hidtil fremstået mere diffus - uden en genkendelig byggelinje. Her opførtes [[Silkeborg Elværk]] mod sydvest i 1910. Samme år fik byens brandvæsen til huse i en tidligere hestestald, som i 1926 blev erstattet af et egentlig sprøjtehus. I 1949 opførtes længere nede ad gaden - ca. midt på pladsen en garagebygning, som senst belv senest blev benyttet til garage for bibliotekets bogbusser. [[Silkeborg Brandvæsen]] holdt til her på den såkaldte "[[Brandvejen]]" frem til april 1972. Bygningskomplekset blev revet ned i 2007 (bogbusgaragen) og 2009 (sprøjtehuset) for at give plads til [[Den kreative Skole]] og parkeringspladser. I 2009 og 2010 opføres [[Medborgerhuset]] på hjørnet ved Amaliegade.
Dermed er planerne om at omdanne pladsen til kulturtorv ved at blive til virkelighed, det vil betyde at alle kulturinstitutionerne bygningsmæssigt smelter sammen.