El actual colegio Padre Manjón tiene sus orígenes en los años veinte. En 1927, de la mano del alcalde Francisco Alonso, se retomó la idea de construir un Grupo Escolar de Enseñanza Primaria en Elda, dadas las urgentes necesidades educativas de la ciudad. El Ayuntamiento encargó el proyecto al arquitecto alcoyano Vicente Valls Gadea, y se compraron los terrenos en el paraje “El Campico” o la “Cañada de Conejo” (1928). La primera piedra se coloca en 1930, y la inauguración se llevó a cabo el 7 de septiembre de 1932 con la presencia de Miguel de Unamuno, coincidiendo con el centenario del nacimiento de Emilio Castelar, de quien recibió el nombre (Grupo Escolar Emilio Castelar), aunque también fue conocido como Escuelas Graduadas, Escuelas Nuevas o Escuelas Nacionales.
El edificio original, rehabilitado en el año 2003 de la mano de Antonio M. Marí Mellado, consta de un bloque longitudinal que se alinea con la calle, desarrollándose en dos y tres plantas con un cuerpo central de mayor altura y dos cuerpos laterales más bajos que acaban formando torreones en la esquinas. Algunos detalles expresionistas en cornisas y pilastras tienen reminiscencias de arquitecturas cultas y edificios fabriles. El interior se estructura mediante un patio central longitudinal cubierto que sirve para iluminar cenitalmente entradas y pasillos. La reforma afectó a la entrada, generada por un cuerpo adelantado de vidrio de seguridad.
Durante la Guerra Civil fue colegio público, cantina de los cuáqueros (un comunidad religiosa protestante que se orientó sobre todo al cuidado y asistencia de niños) y lugar de celebración de bailes, alojando la Subsecretaría del Ejército de Tierra durante los últimos meses de la contienda. Tras la guerra, albergó a las fuerzas franquistas y se celebraron consejos de guerra en sus instalaciones. Desde 1944 hasta 1952 se ubicó la Escuela Profesional de Calzado de Elda y Petrel.
El lugar fue también sede de las primeras ediciones de la FICIA (Feria Internacional del Calzado e Industrias Afines) entre 1959 y 1963. De esta actividad queda el llamativo pilar rematado con una réplica de Mercurio, dios romano del comercio. Alberga la Biblioteca Pública Municipal desde 1952, actualmente dedicada a Alberto Navarro Pastor. Hacia 1964 recibe su actual denominación (Padre Manjón), compartiendo actualmente el uso bibliotecario con el de centro de enseñanza infantil y primaria.