Havnesporet var et sidespor til banestrækningen Skanderborg-Silkeborg, men en for byen meget væsentlig strækning. Det udgik fra [[Silkeborg Banegård]] og blev brugt til rangering af godsvogne til og fra Silkeborg Papirfabrik, senere til Jydsk Trikotagefabrik, Silkeborg Andelssvineslagteri og Reimar Nielsens Tømmerhandel. De første mange år blev vognene trukket af heste.
Sporet gik langs med tidligere [[Jydsk Trikotagefabrik]] (nu [[Amaliegården]]), det tidligere [[Sønderport]] og [[Silkeborg Politistation]] for til sidst at følge havnens vestlige areal og passsere [[Østergade]]. Der har gennem tiden været to broforbindelser over Remstrup Å til Silkeborg Papirfabrik.
De første mange år blev vognene trukket På strækningen mellem Christian 8.s Vej og hjørnet af hesteDrewsensvej fulgte den flisebelagte sti [[Barberstien]] jernbanesporet.
Fjernelsen af sporanlægget med skinner og sveller er sket etapevis efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel Papirfabrikken begyndte at tage form.