På et møde på [[Sønderport]] 9. september 1940 samledes en gruppe mænd, som ønskede oprettet en boligforening. 14 dage senere, 24. september, afholdtes stiftende generalforsamling og Arbejdernes Andels-Boligforening (AAB) blev stiftet på et møde den 9. september 1940var en realitet. Baggrunden var ny boliglovgivning fra 1938 og et massivt boligbehov i Silkeborg. Initiativtagerne var heller ikke uvidende om, at boligbyggeriet ville give arbejde til en række håndværksfag og arkitekter.
Arbejdernes Andels-Boligforening gik straks i gang med arbejdet, og foreningens første byggeri blev "Lyngsøgård", [[Frederiksberggade]] 64-68 og [[Bryndumsvej]] 2-10C, som stod færdig i 1941-42. Herefter gik det slag i slag med store og meget forskelligartet byggeri. Blandt andet blokbyggeri og rækkehuse på [[Århusbakken]] og en række afdelinger i Sydbyen. De første årtier holdt foreningen sig til den gamle Silkeborg Kommune, men i begyndelsen af 1960'erne gik foreningen i samarbejde med [[Arbejdernes Byggeforening]] om byggeri i [[Alderslyst]] - først enfamiliehuse i afdeling 15 ved [[Nordre Ringvej|Ringvejen]] ([[Nørrevang 1]]) 1961-63 og dernæst storbyggeriet med afdeling 18 ved [[Resedavej]] og Lupinvej ([[Nørrevang 2]]) 1968-1970.