Bygningen af dæmningen var efter datidens forhold en bedrift, men arbejdet blev lettet noget ved, at man kunne hente store mængder af fyld i den nærtliggende bakke "[[Færgebakken]]", som lå på nordsiden af søen, ovenfor nuværende [[Ansvej]]. Her hentede man sandet, mens mere solidt fyld blev hentet fra udgravning af [[Balle Bakke]] og stabilt underlag til selve vejen fra [[Kejlstrup grusgrav]].
Allerede da handelspladsen Silkeborg blev anlagt, var det planen, at den skulle udgøre et trafikalt knudepunkt for hovedlandevejene Århus-Ringkøbing og Horsens-Viborg. Men det skete ikke uden sværdslag. For hverken Viborg eller Skanderborg Amter var ivrige efter at betale for dette vejanlæg i de to amters yderdistrikter. Silkeborg-Viborg-landevejen blev anlagt i årene 1855-60. Mod Horsens blev landevejen anlagt i perioden 1858-1863. Dæmningen eller broen blev anlagt på Statens regning.
Viborgbroen må tilskrives stor betydning for fremvæksten af bydelen [[Alderslyst]] fra i 1870'erne.