Herregården Allinggård i [[Svostrup sogn]] dukker frem af historien som selvstændigt gods i 1661, da vinskænk [[Christian Fischer]] overtager en række midtjyske besiddelser af Kronen. Heriblandt [[Silkeborg Slot]] og Allinggård. Allinggård er i familien Fischers eje i årene 1661-1804:
Christian Fischer 1661-1667,Rasmus Fischer 1667-1686,Enkefru Kirstine Masdorph og sønnen Thomas Fischer 1686-1716,Enkefru Ane Poulsen 1716-1719,Christian Fischer 1719-1774,
Jean Arnold Fischer 1774-1804
Christian Fischer (II) satte sig flere varige spor på egnen i form af legater og hospitalet i Grønbæk. [[Jean Arnold Fischer]] er i eftertiden mest kendt fra St. St. Blichers digtning, som "kvindehaderen".