Oprindelig kaldtes sporet "Hestebane", fordi al rangering foregik med heste. Som udviklingen skred frem og godsmængden steg, udskiftedes hestene med små rangerdamplokomotiver og til sidst med dieseldreven rangertraktorer.
Havnesporet passerede Drewsensvej ved Amaliegade, hvor der var afspærret ind til stationsarealet med en gitterlåge. Sporet fortsatte derefter langs med tidligere [[Jydsk Trikotagefabrik]] (nu [[Amaliegården]])og det tidligere [[Sønderport]], hvor der oprindelig endvidere var et sidepsor til udveksling af varer til [[Silkeborg Mølle]] inde bag ved. Dernæst passerede På den anden side af denne strækning fulgte sporet det tidligere [[Sønderport]], [[Silkeborg Politistation]] og [[Silkeborg Husholdningsskole]] for til sidst at følge [[Åhavevej]] langs med den flisebelagte sti [[SlusenBarberstien]].
Ved Efter at have passeret [[ØstergadeChristian 8.s Vej]] delte gik sporet sig, som det havde gjort fra hestebanens tid. Den højre gren blev via en bro forbi [[Silkeborg Politistation]] og [[Silkeborg Husholdningsskole]] for til sidst at ende ved opstemningen af Remstrup Å ført ind på papirfabrikkens grund - denne bro var spærret med en gitterport[[Åhavevej]] og [[Slusen]].
Den venstre gren fortsatte mod Ved [[SøtorvetØstergade]]delte sporet sig, som det havde gjort fra hestebanens tid. Der var oprindelig spor helt over til Den højre gren blev via en bro ved opstemningen af [[Silkeborg GasværkRemstrup Å]] ført ind på Søvej. Dette blev dog fjernet i begyndelsenn af 1970'erne, da gasværket blev nedlagt. I 1930'erne blev papirfabrikkens grund - denne del af sporet endvidere forlænget bro var spærret med en bro over åen gitterport.
Der har gennem tiden været to broforbindelser over Den venstre gren fortsatte mod [[Remstrup ÅSøtorvet]] . Der var oprindelig spor helt over til [[Silkeborg PapirfabrikGasværk]] på Søvej. Dette blev dog fjernet i begyndelsenn af 1970'erne, da gasværket blev nedlagt. I midten af 1930'erne blev denne del af sporet endvidere forlænget med en bro (siden 2002 "[[Godsbroen]]") over åen helt over i Paprifabrikens have bag Smedebakken..
På Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen mellem [[Christian 8enten flyttede eller blev nedlagt.s Vej]] og hjørnet Den sidste virksomhed, der benyttede sig af [[Drewsensvej]] fulgte den flisebelagte sti [[Barberstien]] jernbanesporethavnesporet var Silkeborg Papirfabrik, som dog i slutningen af 1994 endegyldigt opsagde aftalen med DSB Gods. Dermed var det slut med trafik på Havnesporet.
Lastbiltrafikken overtog efterhånden mere og mere transport af gods og virksomhederne på strækningen forsvandt efterhånden. I slutningen af 1994 stoppede Silkeborg Papirfabrik endegyldigt at benytte DSB Gods til sine transporter. Dermed var det slut med trafikken på Havnesporet. Fjernelsen af sporanlægget med skinner og sveller er siden sket etapevis , især efter at Silkeborg Papirfabrik lukkede i 2000, og den ny bydel [[Papirfabrikken]] begyndte at tage form.
I 2002 blev sporene fra [[Østergade]] og frem mod [[Viborgbroen]] fjernet, i 2006 kom turen til strækningen fra Silkeborg Museum til udmundingen af Christian 8.s Vej, mens de sidste sveller og skinner i havneområdet langs med [[Åhavevej]] blev fjernet i april 2009.