Grundlaget for oprettelsen af et vandrerhjem i Silkeborg blev lagt, da [[Hjejleselskabet]] i november 1937 købte Villa "Aabo" ved siden af [[Borgmesterhaven]] for 27.000 kr. Tidligere havde der i kælderen herunder kortvarigt været indrettet et nødherberg for kvinder og i Søndergade et tilsvarende for mænd.På samme den 3.300 m2 store grund opførte man i foråret 1938 en bygning i træ, tegnet af arkitekt [[Knud Sørensen]], opførelsesprisen blev på 45.000 kr. I begge bygninger var der sammenlagt 68 sengepladser.
Ungdomsherberget "Aabo" (Silkeborg Vandrerhjem) blev indviet den 15. juni 1938 og blev af datidens presse omtalt som det smukkest beliggende vandrerhjem i Danmark og døbt "det gule palæ".
Man havde det første år 4.580 overnatninger, et tal der i 1948 , da bygningerne var gældfri, var steget til 10.915.
Vandrerhjemmet blev ledet af en bestyrelse på 3 : Driftsbestyrer [[J. P. Johansen ]](udpeget af Hjejleselskabet), byrådsmedlem [[Aage Christensen]] ([[Silkeborg Kommune]]), der var med til at financiere byggeriet) og malermester [[Herm. Rasmussen]] (Herbergsringen). Den daglige drift blev ledet af en bestyrerinde, fru frk. Mogensen.
I følge den oprindelige overenskomst mellem Hjejleselskabet og Silkeborg Kommune kunne sidstnævnte overtage Vandrerhjemmet for ejendomsværdien, denne overdragelse fandt sted i 1964, købsprisen var 100.000 kr. Året efter blev Hjejleselskabets tidligere lagerrum i bygningen indlemmet i Vandrerhjemmets boligareal.
Den oprindelige Villa "Aabo" blev for knap 20 år siden nedrevet og erstattet med en nyere bygning i stil med resten af byggeriet fra 1938.