Den særprægede ejendom Rytterholt (Rytterholtsvej 30) har navn efter det lille næs "[[Rytterholt (næs) | Rytterholt]]", der ligger på den nordøstlige bred i [[Borre Sø]] vest for [[Svejbæk Snævring]]en.
Ved udskiftningen af [[Linå By]]es jorder og overdrev i 1795 kom Rytterholt til [[Høggården]], hvis ejer dog senere udstykkede sin jord på [[Sejs Hede]]. I 1870 blev der bygget en 4-fags aftægtsbolig på Rytterholt. I 1898 blev jord og aftægtshus solgt til [[Edvard Egeberg]], som dog solgte det videre til sin bror, [[Holger Egeberg]], allerede i 1900. Denne havde været i Amerika og kaldte stdet Ruskin
I 1898 blev jord og aftægtshus solgt til [[Edvard Egeberg]], som dog solgte det videre til sin bror, [[Holger Egeberg]], allerede i 1900. Denne havde været i Amerika og kaldte stedet Ruskin House. Han påbegyndte opførelsen af det store midterhus - formentlig med hjælp fra sin bror [[Sigurd Egeberg]], der var murermester.
I 1904 videresolgte Holger Egeberg Ruskin House til grosserer Larsen Løvtoft fra København, som fuldførte byggeriet og endvidere tilføjede tårnene. Larsen Løvtoft testamenterede Ruskin House til Dr. Louises Børnehospital