Alderslyst voksede langsomt frem og fik med årene en række fælles faciliteter: Forsamlingshus (1902), Alderslyst Skole (1907), vandværk (1909), elektricitetsværk (1917-1920), Alderslyst Kirke (1925-1929) og De Gamles Hjem (Kejlstruplund) (1938). Alderslyst blev Balle Kommunes befolkningsmæssige tyngdepunkt, og den kommunale administrationsbygning blev derfor indrettet på Borgergade nr. 58 i 1932. Alderslystborgerne følte sig imildertid mere tilknyttet byen Silkeborg end til den øvrige Balle Kommune, og efter mange års tovtrækkerier blev Alderslyst indlemmet i købstaden Silkeborg i 1941. Alderslyst blev hermed Silkeborgs nordlige bydel.
Alderslyst var først og fremmest etboligområde, og etableringen af Arbejdernes Byggeforening i 1941 udbyggede kun denne kendsgerning. Byggeforeningen opførte en række nye store byggerier, blandt andet Færgegården, Ringgården og Nørretorv. Med Nørretorv havde Alderslyst fået sin egen bymidte, men den tiltagende bilisme vanskeliggør torvelivet. Alderslyst valgte Silkeborg i 1938-1941 med stor begejstring. Men det viste sig, at Alderslystborgerne i en årrække skulle betale ekstra skat for at blive en del af storkommunen. Det skabte nogen bitterhed og fornemmelse af, man blev betragtet som andenrangs borgere i kommunen. Det kneb også med etablering af offentlige serviceinstitutioner, mente mange i Alderslyst. Eksempelvis blev Alderslyst Bibliotek først en realitet i 1994. Men fra 1990'erne er udviklingen gået stærkt i Alderslyst, og Borgergade er blevet gevaldigt udbygget med boliger, forretninger og trafik. Bydelen rummer også i dag postkontoret og varmecentralen.