==Sporanlægget fjernes==
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af Havnesporet var Silkeborg Papirfabrik. I slutningen af 1994 ophørte papirfabrikken med at benytte godsvogne til transport, hvorefter DSB Gods nedlagde sit rangerberedskab. Dermed var det slut med trafik på Havnesporet.
Den sidste tur blev kørt i december 1994, og det endda med tomme godsvogne til ære for pressen, der ønskede at dokumentere togdriften på havnesporet i tekst og billeder. Det blev dog alligevel til en tur mere. I 1996 fik papirfabrikken uventet leveret cellolose på godsvogne. Heldigvis lå sporene der endnu.
Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis, især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.