Alderslyst voksede langsomt frem og fik med årene en række fælles faciliteter: Forsamlingshus (1902), Alderslyst Skole (1907), vandværk (1909), elektricitetsværk (1917-1920), [[Alderslyst Kirke]] (1925-1929) og De Gamles Hjem (Kejlstruplund) (1938). Alderslyst blev Balle Kommunes befolkningsmæssige tyngdepunkt, og den kommunale administrationsbygning blev derfor indrettet på Borgergade nr. 58 i 1932. Alderslystborgerne følte sig imidlertid mere tilknyttet byen Silkeborg end til den øvrige Balle Kommune, og efter mange års tovtrækkerier blev Alderslyst indlemmet i købstaden Silkeborg i 1941. Alderslyst blev hermed Silkeborgs nordlige bydel.
Alderslyst var først og fremmest et boligområde, og etableringen af [[Arbejdernes Byggeforening]] i 1941 udbyggede kun denne kendsgerning. Byggeforeningen opførte en række nye store byggerier, blandt andet [[Færgegården]], [[Ringgården ]] og [[Nørretorv]]. Med Nørretorv havde Alderslyst fået sin egen bymidte, men den tiltagende bilisme vanskeliggør torvelivet.
Alderslyst valgte Silkeborg i 1938-1941 med stor begejstring. Men det viste sig, at Alderslystborgerne i en årrække skulle betale ekstra skat for at blive en del af storkommunen. Det skabte nogen bitterhed og fornemmelse af, man blev betragtet som andenrangs borgere i kommunen. Det kneb også med etablering af offentlige serviceinstitutioner, mente mange i Alderslyst. Eksempelvis følte mange, at bydelens biblioteksvæsen lod meget tilbage at ønske. Silkeborg Bibliotek oprettede i 1960 en filial på Nørretorv, men Alderslyst måtte vente helt til 1994, før [[Alderslyst Bibliotek]] fik egne, gode lokaler. Men fra 1990'erne er udviklingen gået stærkt i Alderslyst, og Borgergade er blevet gevaldigt udbygget med boliger, forretninger og trafik. Bydelen rummer også i dag postkontoret og varmecentralen.