6. november 1971 blev Højborg lagt øde ved en voldsom brand. Det lykkedes brandvæsenet at redde beboelsen, men af restaurationsbygningerne var der kun de sortsvedne skorstene fra restaurationens to pejse tilbage.
Efter branden gjordes derforsøg der forsøg på at opføre en ny "danse- og serveringssal", som dog ikke kunne godkendes af myndighederne, da fredningsbestemmelserne satte visse begrænsninger på områdets benyttelse.
Nogle år efter blev det gamle beboelseshus revet ned og der opførtes et eenfamilieshus