Alderslyst var fra starten lille: 10-20 små huse, en vandmølle og en vindmølle. Mange af nybyggerne kom fra Silkeborg og arbejdede fortsat i byen og dens fabrikker. I Alderslyst havde de fundet muligheden for at købe en billig byggegrund til egen bolig. Trap Danmark gav i 1901 følgende kortfattede karakteristik: "Alderslyst, arbejderby". I næste udgave af Trap Danmark (1925) var karakteristikken ændret til "Alderslyst, forstad til Silkeborg".
Alderslyst var et samfund mellem land og by: En lokalitet i [[Balle Kommune]] i [[Viborg Amt]], men afgørende påvirket af byen Silkeborg i [[Skanderborg Amt]]. Viborgbroen forbandt Silkeborg og Alderslyst, og vejen fortsatte mod nord gennem Alderslyst med [[Borgergade]] og Viborg-landevejen.
Alderslyst voksede langsomt frem og fik med årene en række fælles faciliteter: Forsamlingshus (1902), Alderslyst Skole (1907), vandværk (1909), elektricitetsværk (1917-1920), [[Alderslyst Kirke]] (1925-1929) og De Gamles Hjem (Kejlstruplund) (1938). Alderslyst blev Balle Kommunes befolkningsmæssige tyngdepunkt, og den kommunale administrationsbygning blev derfor indrettet på Borgergade nr. 58 i 1932. Alderslystborgerne følte sig imildertid mere tilknyttet byen Silkeborg end til den øvrige Balle Kommune, og efter mange års tovtrækkerier blev Alderslyst indlemmet i købstaden Silkeborg i 1941. Alderslyst blev hermed Silkeborgs nordlige bydel.