Al udsigt fra Frederikshøj er nu dækket af nåletræer. Skovdrift har gennem tiden betydet, at udsigter har flyttet sig eller er groet til. Før skoven omkring 1900 voksede til var der en storartet udsigt på dette punkt. Det giver en beskrivelse fra 1886 et godt indtryk af: ”Fra højen, der ligger i skovkanten, frembyder sig en meget vid udsigt fra [[Alling Kirke]] mod øst, over [[Himmelbjerget]], [[Knøsen]], [[Åsen]], hele sydsiden af søbækkenet lige til [[Thorsø Bakker]], [[Vesterskov]], ind til [[Hvinningdal]], til [[Balle Kirke]] og [[Gødvad Kirke]], [[Nordskoven]] og [[Sejs Hede]]".
Frederikshøj er opkaldt efter [[Frederik 6.]] og burde derfor egentlig hedde Frederik 6.s Høj. I 1820’erne og 1830’erne udviste kongen stor interesse for Silkeborg-områdets muligheder – for at udnytte jernmalmforekomster og at gøre [[Gudenåen]] sejlbar. Desuden synes han at have næret interesse for matrikuleringen af [[Silkeborgskovene]] i forbindelse med overgangen til domæneskov (statsskov). Han vides også flere gange at have været i Silkeborg-området for at inspicere skovenes tilstanden tilstand sammen med sine betroede forstmænd overforstmester [[Frederik Ferdinand von Krogh]], og [[Frands Baastrup]].
Det fremgår således af Berlingske Tidende, at han var på rejse fra Århus til Silkeborg, hvor han overnattede - 16. juni 1836. Derefter han rejste videre til Randers. Navngivningen af Frederikshøj kan være sket på denne tur - Silkeborg er jo ikke et naturligt stop på rejsen mellem Århus og Randers.