Het klooster- en scholencomplex Onze Lieve Vrouw ter Eem is gebouwd tussen 1931-1933 naar ontwerp van architect B.J. Koldewey (1895-1958). Opdrachtgever was de zustercongregatie van Onze Lieve Vrouw van Amersfoort, die in de jaren 20 van de vorige eeuw sterk groeiende was en uit de voegen barstte van het moederhuis aan de Zuidsingel. De congregatie richtte zich op het verzorgen van katholiek onderwijs aan meisjes. De snelle aanwas van leerlingen en zusters maakte nieuwbouw noodzakelijk. In 1927 werd daarom bij het Rijk een verzoek ingediend voor het verwerven van 11 ha grond (dit bleek bij latere metingen 13 ha te zijn) aan de Daam Fockemalaan, dat toebehoorde aan het Departement van Defensie. De bouwlocatie lag op een licht glooiende uitloper van de Vlasakkers, ver buiten de toenmalige bebouwingsgrens van Amersfoort in een landelijke omgeving. Het bestond grotendeels uit heide en bos, met sterke hoogteverschillen. Een deel ervan, net ten noorden van het kloosterterrein, werd gebruikt als militair oefenterrein. Hier werd vanaf eind jaren dertig de Bernhardkazerne gebouwd.
