Herregården Allinggård i Svostrup sogn dukker frem af historien som selvstændig selvstændigt gods i 1661, da vinskænk Christian Fischer overtager en række midtjyske besiddelser af Kronen. Heriblandt Silkeborg Slot og Allinggård. Allinggård er i familien Fischers eje i årene 1661-1804:
Christian Fischer 1661-1667