Havnesporet var et sidespor til banestrækningen Skanderborg-Silkeborg, men en for byen meget væsentlig strækning. Det udgik fra Silkeborg Banegård og blev brugt til rangering af godsvogne til og fra Silkeborg Papirfabrik, senere til Jydsk Trikotagefabrik, Silkeborg Andelssvineslagteri og Reimar Nielsens Tømmerhandel. De første mange år blev vognene trukket af heste.
Sporet gik langs med tidligere Jydsk Trikotagefabrik (nu Amaliegården), det tidligere Sønderport og Silkeborg Politistation for til sidst at følge havnens vestlige areal og passsere Østergade. Der har gennem tiden været to broforbindelser over Remstrup Å til Silkeborg Papirfabrik.
På strækningen mellem Christian 8.s Vej og hjørnet af Drewsensvej fulgte den flisebelagte sti Barberstien jernbanesporet.
Fjernelsen af sporanlægget med skinner og sveller er sket etapevis efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel Papirfabrikken begyndte at tage form.
I 2002 blev sporene fra Østergade og frem mod Viborgbroen fjernet, i 2006 kom turen til strækningen fra Silkeborg Museum til udmundingen af Christian 8.s Vej, mens de sidste sveller og skinner i havneområdet langs med Åhavevej blev fjernet i april 2009.