''- 1583 gav Frederik II befaling til Jagthusets nedbrydning.''
Jens Jensen Refshale beretter endvidere, at det "ved en lokal undersøgelse synes at fremgå, at der oprindeligt har ligget 3 huse på stedet. Kongeboligen var et grundmuret stenhus mod nord med 2 fløje eller sidebygninger mod syd. Da sylstenene her endnu kan anes må disse sidebygninger være opført som bindingsværk
(Jens Jensen Refshales samlinger
Sognepræst i Kragelund, [[Kresten H. Lidegaard]] var også interesseret i ”Slottet”. Han forsøgte, uden held at få Nationalmuseet til at foretage udgravning på stedet. Da det ikke lykkedes, gjorde han det selv. Han fandt nogle fundamenter en meter under daværende jordoverflade, og afdækkede her grundsten på en strækning af ca. 30 m. Desuden konstaterede han rester af to tårne!