Også folkemindesamleren sognefoged [[ Jens Jensen Refshale]] nævner i sine optegnelser et hus i Kragelund, som benyttes af Kong Hans og hans efterfølgere. Desværre opgiver han ikke sine kilder, så hvor han har sine oplysninger fra vides ikke:
''- 1487 var Kong Hans paa gæsteri i Jylland: han fulgtes af 400 ryttere, foruden et stort vogntog. Kongen tog paa rejsen fra Viborg ind i Kragelund hvor han fik overbragt en hest fra bispen i Århus, hvis ”dreng” ved denne lejlighed fik 2 Mark i ”grimepenge”.
- 1506 overnattede Kong Hans ligeledes i Kragelund på de Ellevetusindes Jomfruers Aften (21. oktober).
- Efter Reformationen da Silkeborg kom i Kronens besiddelse tabte Kragelund sin betydning som rejserute og bolig.
- 1583 gav Frederik II befaling til Jagthusets nedbrydning.''
Sognepræst i Kragelund, [[Kresten H. Lidegaard]] var også interesseret i ”Slottet”. Han forsøgte, uden held at få Nationalmuseet til at foretage udgravning på stedet. Da det ikke lykkedes, gjorde han det selv. Han fandt nogle fundamenter en meter under daværende jordoverflade, og afdækkede her grundsten på en strækning af ca. 30 m. Desuden konstaterede han rester af to tårne!