Havnesporet passerede [[Drewsensvej]] ved [[Amaliegade]], hvor der var afspærret ind til stationsarealet med en gitterlåge. Sporet fortsatte derefter langs med tidligere [[Jydsk Trikotagefabrik]] (nu [[Amaliegården]]) og det tidligere [[Sønderport]], hvor der oprindelig endvidere var et sidepsor til udveksling af varer til [[Silkeborg Mølle]] inde bag ved. På den anden side af denne strækning fulgte sporet den flisebelagte sti [[Barberstien]].
Efter at have passeret [[Christian 8.s Vej]] gik sporet forbi [[Silkeborg Politistation]] og [[Silkeborg Husholdningsskole]] for til sidst at ende ved [[Åhavevej]] og [[SlusenKammerslusen|slusen]].
Ved [[Østergade]] delte sporet sig, som det havde gjort fra hestebanens tid. Den højre gren blev via en bro ved opstemningen af [[Remstrup Å]] ført ind på papirfabrikkens grund - denne bro var spærret med en gitterport.
Den venstre gren fortsatte mod [[Søtorvet]]. Der var oprindelig spor helt over til [[Silkeborg Gasværk|gasværket]] på Søvej. Dette blev dog fjernet i begyndelsen af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i Paprifabrikens have bag Smedebakken.
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af Havnesporet var Silkeborg Papirfabrik. I slutningen af 1994 ophørte papirfabrikken med at benytte godsvogne til transport, hvorefter DSB Gods nedlagde sit rangerberedskab. Dermed var det slut med trafik på Havnesporet.