Jernbanevej hedder sådan, fordi den løber langs med jernbanen, der kom til Silkeborg i foråret 1871 som en sidelinie fra Skanderborg. Det skete bl.a. med [[Michael Drewsen ]] som drivkraft. Jernbanen videreførtes til Herning i 1877. Jernbanenettet på Silkeborgegnen blev efterhånden mere udbygget - [[Langå-banen]] indviedes i 1908, [[Kjellerup-banen]] i 1924 og [[Bryrup-banen]] kom som den sidste jernbanelinie til Silkeborg i 1929. Bilismens fremgang gav dog tilbagegang for togtrafikken. Mange ruter blev nedlagt og erstattet af busdrift - Kjellerup-banen nedlagdes i 1967, Bryrup-banen i 1968 og Langå-banen måtte lukke i 1971. Der findes dog stadig en veteranbane på strækningen Bryrup-Vrads.
Jernbanevej er en af de ældste gader i Lyngbykvarteret, der opstod omkring 1890, da man åbnede en jerbaneoverførsel ved det Koopmanske Svineslagteri. I mange år var forholdene elendige i kvarteret, hvor flertallet af beboerne var arbejdere og småkårsfolk: vejenes brolægning var mangelfuld eller ikke-eksisterende, gadelygter var der ingen af, polititilsyn glimrede ved sit fravær - undtagen når der skulle pantes for skat eller lignende - og postgangen var meget uregelmæssig.