Herregården Allinggård i [[Svostrup sogn]] dukker frem af historien som selvstændigt gods i 1661, da vinskænk [[Christian Fischer]] overtager en række midtjyske besiddelser af Kronen. Heriblandt [[Silkeborg Slot]] og Allinggård. Allinggård er i familien Fischers eje i årene 1661-1804:
*Christian Fischer 1661-1667,*Rasmus Fischer 1667-1686,*Enkefru Kirstine Masdorph og sønnen Thomas Fischer 1686-1716,*Enkefru Ane Poulsen 1716-1719,*Christian Fischer 1719-1774,*Jean Arnold Fischer 1774-1804
Christian Fischer (II) satte sig flere varige spor på egnen i form af legater og [[Grønbæk Hospital]]. [[Jean Arnold Fischer]] er i eftertiden mest kendt fra St. St. Blichers digtning, som "kvindehaderen".