Oprindelig kaldtes sporet "Hestebane", fordi al rangering foregik med heste. Som udviklingen skred frem og godsmængden steg, udskiftedes hestene med små rangerdamplokomotiver og til sidst med dieseldrevne rangertraktorer.
Havnesporet passerede [[Drewsensvej ]] ved [[Amaliegade]], hvor der var afspærret ind til stationsarealet med en gitterlåge. Sporet fortsatte derefter langs med tidligere [[Jydsk Trikotagefabrik]] (nu [[Amaliegården]]) og det tidligere [[Sønderport]], hvor der oprindelig endvidere var et sidepsor til udveksling af varer til [[Silkeborg Mølle]] inde bag ved. På den anden side af denne strækning fulgte sporet den flisebelagte sti [[Barberstien]].
Efter at have passeret [[Christian 8.s Vej]] gik sporet forbi [[Silkeborg Politistation]] og [[Silkeborg Husholdningsskole]] for til sidst at ende ved [[Åhavevej]] og [[Slusen]].
Ved [[Østergade]] delte sporet sig, som det havde gjort fra hestebanens tid. Den højre gren blev via en bro ved opstemningen af [[Remstrup Å]] ført ind på papirfabrikkens grund - denne bro var spærret med en gitterport.
Den venstre gren fortsatte mod [[Søtorvet]]. Der var oprindelig spor helt over til [[Silkeborg Gasværk]] på Søvej. Dette blev dog fjernet i begyndelsenn begyndelsen af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i Paprifabrikens have bag Smedebakken..
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af havnesporet Havnesporet var Silkeborg Papirfabrik, som dog i slutningen af 1994 endegyldigt opsagde aftalen med DSB Gods. Dermed var det slut med trafik på Havnesporet.
Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis, især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.