Den venstre gren fortsatte mod [[Søtorvet]]. Der var oprindelig spor helt over til [[Silkeborg Gasværk|gasværket]] på Søvej. Dette blev dog fjernet i begyndelsen af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i Paprifabrikens have bag Smedebakken.
==Sporanlægget fjernes==
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af Havnesporet var Silkeborg Papirfabrik. I slutningen af 1994 ophørte papirfabrikken med at benytte godsvogne til transport, hvorefter DSB Gods nedlagde sit rangerberedskab. Dermed var det slut med trafik på Havnesporet.
==Sporanlægget fjernes==
Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis, især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.