Stedet er afsat på Mansas og Klüvers første turistkort over Silkeborg og omegn fra 1860. Siden er det nævnt og udsigten ofte beskrevet i næsten alle turistførere for skovene. Højen er desuden afsat på næsten samtlige specialkort og alle geodætiske kort i mindre målestoksforhold.
Karoline Amalies Høj er navngivet efter [[Christian 8.]]s dronning Caroline Amalie. Kongeparret havde ophold ophold på [[Silkeborg Hovedgård]] fra 27. juli til 1. august 1840 i forbindelse med, at Silkeborgskovene efter et stort forarbejde overgik til at blive statsskov. Og kun en enkelt gang senere under en rejse til Ringkøbing i 1845 overnattede kongeparret på hovedgården. Derfor kan man med rimelig sikkerhed antage, at højen er navngivet under opholdet i 1840 og det kunne meget vel være sket under medvirken af godsforvalter [[J. H.nBindesbøllBindesbøll]] på hovedgården og daværende skovrider [[Harmsen]], der havde bopæl på [[Nåege]].
Siden da har der flere gange været kongeligt besøg på Karoline Amalies Høj. [[Frederik 7.]] og grevinde Louise Danner var [[Michael Drewsen]]s gæster ved hele tre lejligheder. Under alle besøg blev der foretaget udflugter til hest eller i hestevogn. De royale gæster har sikkert ved flere lejligheder besøgt Karoline Amalies høj f. eks. i forbindelse med ture til [[Himmelbjerge]]t.