I 1774 arvede [[Jean Arnold Fischer]] (1774-1805) Allinggård efter sin fars fætter Christian Fischer (1689-1774), der ejede gården fra 1719-1774. Han blev i folkemunde omtalt som "den gale Fisjer" eller som hos [[Steen Steensen Blicher|Blicher]] "Fruentimmerhaderen". Christian Fischer lod i sin tid bygge de tre kirketårne i [[Sejling Kirke|Sejling]], [[Lemming Kirke|Lemming]] og [[Svostrup Kirke|Svostrup]] henholdsvis i årene 1782, 1786 og 1788.
Det fortælles, at på det tidspunkt var der en smed på Allinggård ved navn Peder Nielsen (f. ca. 1750 -fødested ukendt). Han var af herremanden betroet den ære at smede og beslå de tre kirkers døre og vel også andet smedearbejde ved byggeriet.
I 1785 holdt Peder Smed bryllup i Sejling kirke med pigen Anne Johanne Christensdatter af Ebstrup, men glæden var kort, da Anne Johanne døde i barselsseng året efter. De boede da på matrikel 6.