Næsset har givet navn til den særprægede ejendom "[[Rytterholt (villa)| Rytterholt]]", der blev opført omkring 1900 og som ligger på [[Rytterholtsvej]] 30.
Ifølge et sagn, der blev optegnet af [[A. L. Drewsen]] i 1850, fik det lille næs sit navn, fordi det havde været samlingssted for svenske ryttere. Hvis dette er sandt, må det have været under [http://da.wikipedia.org/wiki/Svenskekrigene Svenskekrigene] i 1650'erne, hvor de fjendtlige soldater slog sig ned på [[Silkeborg Slot]] og hærgede i omegnen. Holt betyder "lille skov".
[[Kategori:Steder]]