Den venstre gren fortsatte mod [[Søtorvet]]. Der var oprindelig spor helt over til [[Silkeborg Gasværk]] på Søvej. Dette blev dog fjernet i begyndelsen af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i Paprifabrikens have bag Smedebakken.
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af Havnesporet var Silkeborg Papirfabrik, som dog i . I slutningen af 1994 endegyldigt opsagde aftalen ophørte papirfabrikken med at benytte godsvogne til transport, hvorefter DSB Godsnedlagde sit rangerberedskab. Dermed var det slut med trafik på Havnesporet.
Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis, især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.