Jens Jensen Refshale beretter endvidere, at det ved "''en lokal undersøgelse synes at fremgå, at der oprindeligt har været 3 huse på stedet. Kongeboligen, et grundmuret stenhus mod nord samt 2 fløje eller sidebygninger mod syd. Da sylstenene her endnu findes, må disse sidebygninger være opført som bindingsværk. Det hele var omgivet af et plankeværk, der ved nedbrydningen 1583 førtes til Nygaard ved Kolding. Øvrige sten og tømmer blev ført til Silkeborg og anvendt ved tilbygninger til slottet''".
(Jens Jensen Refshales samlinger - A644, pk/lb.1, læg 6)
Sognepræst i Kragelund, [[Kresten H. Lidegaard]] var også interesseret i ”Slottet”. Han forsøgte, uden held at få Nationalmuseet til at foretage udgravning på stedet. Da det ikke lykkedes, gjorde han det selv. Han fandt nogle fundamenter en meter under daværende jordoverflade, og afdækkede her grundsten på en strækning af ca. 30 m. Desuden konstaterede han rester af to tårne!