Grunden med den oprindelige stråtækte bygning var udstykket fra den nærliggende [[Svejbækgaard]], som tilhørte kroværtens far.
"[[Hjejlen]]", som var kommet til i 1861 bidrog efterhånden også til at der kom turister til stedet, da [[Hjejleselskabet]] byggede en [[Anløbsbroer for rutebådene|anløbsbro ]] i snævringen. Senere var der i mange år endvidere en bro til selskabets udlejningsbåde længere inde i snævringen.
En robåd besørgede i mange år transporten af post, fragt og enkelte passagerer mellem Færgegaarden og de spredte beboelser på vestsiden af snævringen, og byen Svejbæk på østsiden. Denne lille færge, der dog bestemt ikke var nogen guldgrube for Svejbæk Færgegaard, blev indstillet i 1953.