Rytterholtsvej har navn efter det lille næs "[[Rytterholt (næs) | Rytterholt]]", der ligger på den nordøstlige bred i [[BorresøBorre Sø]] vest for [[Svejbæk Snævring]]en.
Gadenavnet har dog også sikkert forbindelse til den særprægede ejendom "[[Rytterholt (villa)| Rytterholt]]", der blev opført omkring 1900 og som ligger på Rytterholtsvej 30.