Alderslyst var fra starten lille: 10-20 små huse, en vandmølle og en vindmølle. Mange af nybyggerne kom fra Silkeborg og arbejdede fortsat i byen og dens fabrikker. I Alderslyst havde de fundet muligheden for at købe en billig byggegrund til egen bolig. Trap Danmark gav i 1901 følgende kortfattede karakteristik: "Alderslyst, arbejderby". I næste udgave af Trap Danmark (1925) var karakteristikken ændret til "Alderslyst, forstad til Silkeborg".
Alderslyst var et samfund mellem land og by: En lokalitet i [[Balle Kommune]] i [[Viborg Amt]], men afgørende påvirket af byen Silkeborg i [[Skanderborg Amt]]. [[Viborgbroen]] forbandt Silkeborg og Alderslyst, og vejen fortsatte mod nord gennem Alderslyst med [[Borgergade]] og Viborg-landevejen. Fra Borgergade, ved det nuværende [[Nørretorv]], gik [[Kejlstrupvej]] gennem bydelen mod nordøst.
Alderslyst voksede langsomt frem og fik med årene en række fælles faciliteter: [[Alderslyst Forsamlingshus]] (1902), [[Alderslyst Skole]] (1907), vandværk (1909), elektricitetsværk (1917-1920), [[Alderslyst Kirke]] (1925-1929) og De Gamles Hjem ([[Kejlstruplund]]) (1938).