[[Billede:havnespor.jpg|thumb|290px|Havnesporet set fra Østergade mod syd, ca. 1928.]]
Havnesporet var et sidespor til banestrækningen Skanderborg-Silkeborg, men en for byen meget væsentlig strækning. Allerede ved banens åbning i foråret 1871 var det besluttet, at der skulle anlægge et 1.100 m. langt sidespor fra stationen til [[Silkeborg Papirfabrik]]. Anlægsarbejdet blev forsinket, så sidesporet kunne først tages i brug 26. juni 1872. Det udgik fra [[Silkeborg BanegårdStation]] og ved [[Østergade]] delte det sig i to korte grene, den østlige gik til papirfabrikken, den vestlige til [[Store Maen]]. Det blev brugt til rangering af godsvogne til og fra [[Silkeborg Papirfabrik]] papirfabrikken, senere til [[Jydsk Trikotagefabrik]], [[Silkeborg Andelssvineslagteri]] og [[Reimar Nielsens Tømmerhandel]].
Oprindelig kaldtes sporet "Hestebane", fordi al rangering foregik med heste. Som udviklingen skred frem og godsmængden steg, udskiftedes hestene med små rangerdamplokomotiver og til sidst med dieseldrevne rangertraktorer.
Ved [[Østergade]] delte sporet sig, som det havde gjort fra hestebanens tid. Den højre gren blev via en bro ved opstemningen af [[Remstrup Å]] ført ind på papirfabrikkens grund - denne bro var spærret med en gitterport.
Den venstre gren fortsatte mod til ladepladsens bolværk på [[SøtorvetStore Maen]]. Der var oprindelig blev også anlagt spor helt over til [[Silkeborg Gasværk|gasværket]] på [[Søvej]]. Dette blev dog fjernet i begyndelsen af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i [[Paprifabrikens have ]] bag Smedebakken.
==Sporanlægget fjernes==
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen enten flyttede eller blev nedlagt. Den sidste virksomhed, der benyttede sig af Havnesporet var Silkeborg Papirfabrik. I slutningen af 1994 ophørte papirfabrikken med at benytte godsvogne til transport, hvorefter DSB Gods nedlagde sit rangerberedskab. Dermed var det slut med trafik på Havnesporet.
Den sidste tur blev kørt i december 1994, og det endda med tomme godsvogne til ære for pressen, der ønskede at dokumentere togdriften på havnesporet i tekst og billeder. Det blev dog alligevel til en tur mere. I 1996 fik papirfabrikken uventet leveret cellolose på godsvogne. Heldigvis lå sporene der endnu.
Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis, især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.