La població està distribuïda principalment entre els nuclis urbans de Castellar i de Sant Feliu del Racó i les urbanitzacions de l’Airesol A-B, C i D, El Racó, El Balcó, Can Font, Ca n’Avellaneda i Les Arenes.
El nucli urbà concentra el 80% de la població del municipi. L'alçada oscil·la, amb un considerable desnivell, entre els 300 i els 372 metres d'alçada sobre el nivell del mar, tot i que l’alçada oficial són els 331 m. del carrer de l’església. En el punt més alt, al peu del Puig de la Creu, hi trobem el nucli antic de la vila. Amb la progressiva regressió de l’agricultura des dels anys 60, la urbanització s’ha anat estenent cap al sud, continuant la trama urbana, sobre l’antiga plana agrícola del Pla de la Bruguera.
A part de concentrar població al nucli, Castellar compta amb un nucli agregat, Sant Feliu del Racó, situat també a la falda de la muntanya, a la banda oest del riu Ripoll. La situació d’aquests dos nuclis ve explicada per una lògica d’adaptació i d’aprofitament del territori i els seus recursos.
La resta de la població es localitza en diverses urbanitzacions, aparegudes al llarg dels anys 60 i 70, i de diverses edificacions i masies disseminades.