Karoline Amalies Høj er navngivet efter [[Christian 8.]]s dronning Caroline Amalie. Kongeparret havde ophold på [[Silkeborg Hovedgård]] fra 27. juli til 1. august 1840 i forbindelse med, at Silkeborgskovene efter et stort forarbejde overgik til at blive statsskov. Og kun en enkelt gang senere under en rejse til Ringkøbing i 1845 overnattede kongeparret på hovedgården. Derfor kan man med rimelig sikkerhed antage, at højen er navngivet under opholdet i 1840 og det kunne meget vel være sket under medvirken af godsforvalter [[J. H. Bindesbøll]] på hovedgården og daværende skovrider [[Harmsen]], der havde bopæl på [[Nåege]].
Siden da har der flere gange været kongeligt besøg på Karoline Amalies Høj. [[Frederik 7.]] og grevinde Louise Danner var [[Michael Drewsen]]s gæster ved hele tre lejligheder. Under alle besøg blev der foretaget udflugter til hest eller i hestevogn. De royale gæster har sikkert ved flere lejligheder besøgt Karoline Amalies høj f. eks. i forbindelse med ture til [[HimmelbjergeHimmelbjerget]]t. Adgangen fra søsiden foregik oprindelig fra [[Brassø]], idet [[Hjejleselskabet]] i en lang årrække, frem til 1974, havde en anløbsbro her med navnet Karoline Amalies høj. På samme sted er der i dag en mindre anløbsbro for motorbådsklubberne.
13. september 1865 er [[Christian 9.]] med dronning Louise og familie på tur med [[Hjejlen]] til Himmelbjerget. [[Silkeborg Avis]] beretter, at man på turen tilbage tilbragte en time med at nyde den smukke udsigt på Karoline Amalies Høj.