Rytterholtsvej har navn efter det lille næs "[[Rytterholt (næs) | Rytterholt]]", der ligger på den nordøstlige bred i [[Borresø]] vest for [[Svejbæk Snævring]]en.
Der er Gadenavnet har dog også sikkert forbindelse til ejendommen den særprægede ejendom "[[Rytterholt (villa)| Rytterholt]]", der blev opført omkring 1900 og som ligger på Rytterholtsvej 30.
Karl Gustav besatte Jylland med den Ifølge et sagn, der blev optegnet i 1850, fik det lille næs sit navn, fordi det havde været samlingssted for svenske hærryttere. Hvis dette er sandt, må det have været under [http://da.wikipedia.org/wiki/Svenskekrigene Svenskekrigene] i 1650'erne, hvor de fjendtlige soldater slog sig ned på [[Silkeborg Slot]] og hærgede i omegnen. Holt betyder "lille skov"