Oprindeligt var "Færgebakken" navnet på den store sandbanke, der lå lige øst for nuværende [[Borgergade]] og nord for [[Ansvej]]. En del af bakken blev gravet væk og brugt til dæmningen over Langsøen. Sandbanken leverede i årtier også sand til huse, veje og andet byggeri og svandt altså ind i takt med udbygningen af området. Gruset blev også udnyttet af Færgebakkens Cementvarefabrik. Bakken kan dog stadig erkendes i det bebyggede område.
På færgebakken var der også en vindmølle, der supplerede vandmøllen, [[Kejlstrup Mølle]], ved det nuværende [[Nørretorv]]. (Se [[Mølledamsgade]]).
Færgebakken og færgefarten over Langsøen er malende beskrevet af H.C. Andersen i kapitlet "På andejagten" i hans roman "At være eller ikke være" fra 1857: