Rytterholtsvej har navn efter det lille næs " Rytterholt", der ligger på den nordøstlige bred i Borre Sø vest for Svejbæk Snævringen.
Gadenavnet har dog også sikkert forbindelse til den særprægede ejendom " Rytterholt", der blev opført omkring 1900 og som ligger på Rytterholtsvej 30.
Beliggenhed: Rytterholtsvej ligger i Silkeborg, Svejbæk.