Smedebakken blev også Silkeborgs første boligkvarter, idet Michael Drewsen her lod opføre tre arbejderlænger med i alt 16 lejligheder, hvoraf den første stod færdig allerede i 1844, de to næste i 1847. Lejlighederne var hver på ca. 30 m2 og indeholdt: et lille køkken, som også fungerede som entre, en stor stue og en mindre stue. Der skete ikke de store forandringer med disse ydmyge arbejderboliger - først i begyndelsen af 1950’erne kom der wc i alle lejlighederne, idet der blev lavet en lille tilbygning ved køkkenet. Og i køkkener blev der indlagt gas til erstatning for de gamle jernkomfurer.
[[Billede:drewsensvilla.jpg|thumb|350px|Drewsens herskabelige villa]] Desuden opførtes en særskilt bolig til gartneren og i 1847-48 tillige mellem længerne og papirfabrikken en statelig [[Drewsens Villa|villa ]] til fabriksejeren og hans familie. Denne rummede en stor kælder med køkken, en stueetage med seks værelser og en første sal med 10 værelser. Villaen blev beslaglagt af tyskerne under besættelsen, og mod krigens slutning blev her indkvarteret flygtninge. I 1950 fik fabrikken tilladelse til nedrivning – bl.a. med den begrundelse at huset var faldefærdigt.
Med til fabrikkens boliger hørte også tre funktionærboliger, som opførtes i 1930’erne.