Vor Frue Kirke er en romersk-katolsk menighed med omkring 400 medlemmer. Kirken er beliggende på [[Hostrupsgade]] på en hjørnegrund ved [[Vestergade]], hvor terrænet falder ned mod [[Kalgårdsvig]] og [[Silkeborg Langsø]]. Grunden er udstykket af Vestergade 32 – den oprindelige birkedommerbolig, som er opført af [[Georg Vilhelm Louis Drechsel]] i 18551856.
[[Billede:vorfrue1.jpg|thumb|200px|Vor Frue Kirke]]
I 1895 manglede [[Silkeborg Papirfabrik]] arbejdskraft til kludesortering og hentede derfor 10 kvindelige arbejdere fra Böhmen til fabrikken. De var alle katolikker, og man gav dem derfor mulighed for at få læst messe en gang om måneden i et lokale, som papirfabrikken stillede til rådighed.
I 1898 købte Ansgarstiftelsen - det katolske bispedømme i Danmark - den gamle Birkedommerbolig på Vestergade 32, som var blevet bygget opført i 1855 1856 som den første af de store embedsmandsvillaer på den vestlige kant af byen. Det var her tanken at der skulle indrettes et kapel for den katolske menighed og kort tid efter ankom da også fire søstre fra ordenen "Den kristne kærligheds søstre" i Paderborn, som fik overdraget villaen. Foruden et kapel etablerede de også en kirkeskole med en lille og en stor klasse.
I foråret 1912 påbegyndtes på initiativ af pastor [[Johannes Frederiksen]] opførelsen en kirke og allerede 8. december s.å. kunne man foretage indvielsen. Kirken fik navnet "Vor Frue Kirke".