Siden da har der flere gange været kongeligt besøg på Karoline Amalies Høj. [[Frederik 7.]] og grevinde Louise Danner var [[Michael Drewsen]]s gæster ved hele tre lejligheder. Under alle besøg blev der foretaget udflugter til hest eller i hestevogn. De royale gæster har sikkert ved flere lejligheder besøgt Karoline Amalies høj f. eks. i forbindelse med ture til [[Himmelbjerget]].
Adgangen fra søsiden foregik oprindelig fra en anløbsbro i den nordvestlige ende af [[BrassøSejs Snævringen]], idet [[Hjejleselskabet]] i en lang årrække, frem til 1974, havde en anløbsbro her med navnet "Karoline Amalies høj". På samme sted er der i dag en mindre anløbsbro for motorbådsklubberne.
13. september 1865 er [[Christian 9.]] med dronning Louise og familie på tur med [[Hjejlen]] til Himmelbjerget. [[Silkeborg Avis]] beretter, at man på turen tilbage tilbragte en time med at nyde den smukke udsigt på Karoline Amalies Høj.