El 1889 una comissió integrada pel Dr. Esteve Monegal, rector-gerent; Josep Comas Barbany, propietari;Emili Carles-Tolrà, fabricant; Josep Pallàs, secretari municipal i Pere Anyé, mestre, anaren a parlar ambEmília Carles-Tolrà, vídua de Tolrà, sobre les precàries condicions de l'edifici de l'escola pública delcarrer Nou, 8, i la necessitat de disposar-ne d'una altra. Emília Carles-Tolrà va costejar la transformació de la primera escola-convent de les Germanes Dominiques de l'Anunciata, promoguda pel seu marit, enun gran equipament escolar administrat econòmicament per un Patronat: les Escoles del Patronat Tolrà. La comunitat de Germanes Dominiques de l'Anunciata continuaren encarregant-se de l'ensenyament deles nenes i l’ensenyament per a nens anava a càrrec de professorat seglar fix.
L'edifici fou construït fora del casc urbà, en el passeig Tolrà, a l'altre extrem del Palau Tolrà, en terrenyscomprats a Joaquima Viver i Ramona Sala. El projecte de les noves escoles girava al voltant d'un edificique s'adaptés a les necessitats de la mainada a fi i efecte que es poguessin assolir uns resultatsacadèmics positius. Les obres de construcció van començar el 26 de juny de 1892 sota la direcció del'arquitecte de la casa Tolrà, Emili Sala Cortés i fou beneït pel bisbe l'agost de 1896.
L’edifici, de planta rectangular, té dues plantes, amb un cos central destacat més alt, on hi ha l'esculturadel promotor de l'escola, Josep Tolrà i Abella. La decoració de la façana és a base d'elements neoclàssics(cornises, remats, finestres, frontó). L'edifici estava dividit en tres cossos, un dedicat a nens, l'altrededicat a nenes, i el del mig a pàrvuls. Es varen dur a terme els dictats higienistes pregonats per larepública alhora de construir edificis educatius: espais grans, ventilats, ben il·luminats, amb serveistècnics avançats (lavabos, parallamps, cuines,etc.). A la planta baixa hi havia les aules i un pati posteriorexterior amb un porxo d’aixopluc de pilars quadrangulars, dividit en tres parts corresponents als tresgrups d'alumnes i separats per reixes de ferro; a la planta pis hi havia despatxos, dispensaris, biblioteca isaló de lectura, i una gran terrassa. La façana principal fa 72'3 m de llargada té tres portes d'accés,corresponents als tres espais originaris destinats a ensenyament.
Són curiosos els detalls decoratius aplicats a les pilastres de les finestres, que representen una estrellade 5 puntes sobre unes espigues de blats i grans de raïm.
L'abril de 1936 l'escola fou tancada per ordre de l'autoritat educativa i no es va tornar a obrir fins que esva acabar el conflicte bèl·lic l'any 1939. Durant la Guerra Civil les instal·lacions van tenir diferents usos:centre educatiu no reglat, casernes del Centre de Reclutament i Instrucció Militar número 15, dipòsit dematerial de la FARE, seu de refugiats… Després de la guerra l'aula gran de les niñas va acollir un precariescenari teatral on l'Acció Catòlica realitzava diverses activitats per a la mainada (teatre, cinema,vetllades artístiques) fins que cap el 1950 tota aquesta infraestructura fou traslladada a la que haviaestat fins llavors l'escola de niños, allotjant a més a més el recentment creat Centre Parroquial i,posteriorment, en l'aula central, l'Escola d'Arts i Oficis.
En l'actualitat l'edifici acull el Col·legi FEDAC Castellar - La Immaculada i també és la seu de les entitats Colònies i Esplai Xiribec i l'Escola Nocturna.