La torre medieval de la Torreta (Bien de Interés Cultural), que da el nombre actual a la sierra, es uno de los principales hitos y monumentos históricos del paisaje eldense. Se trata de una obra de tapial calicostrado de planta cuadrangular (4,7 m de lado). La excavación arqueológica de los años 2003 y 2004 comprobó que se conservaban solo 2,41 m. de altura máxima, así como cuatro departamentos anexos al norte, prácticamente arrasados. La torre se restauró en el año 2011 hasta una cota de 6 m., a partir de las fotografías fechadas entre 1958 y 1971, en las que se apreciaban todavía 6 tapiales de 0,98 m. de altura. Sin embargo, la torre debió tener bastante más alzada originalmente, si tomamos como referencia otras torres con unas dimensiones de base similares.

Esta torre vigía se construyó en la antigua sierra del Portitxol, la Força d’Elda, una zona insegura y estratégica, especialmente tras la Guerra de los Dos Pedros (1356-1370), también afectada por escaramuzas e incursiones periódicas musulmanas desde el reino nazarí de granada. La atalaya se situó en la frontera suroccidental del reino de Valencia, entre los territorios de las coronas de Aragón y Castilla. A instancias de la reina Sibila de Fortià, señora de Elda, el rey Pedro IV el Ceremonioso dispuso, el 15 de diciembre de 1386, la creación de un servicio de vigilancia y aduana de dos hombres en la torre construida poco antes en el paso montañoso, a expensas de un peaje (un dinero real valenciano) cobrado a viandantes, animales de tiro, silla o carga. La torre mantenía así la seguridad en el camino entre Elda (Aragón) y Sax (Castilla) y, de manera secundaria, en el camino de la Noguera, que se dirigía hacia Petrer.

El uso de la atalaya parece continuar durante el final de la Edad Media, prolongándose al menos hasta inicios del siglo XVII. Posteriormente, se menciona la existencia de la torre durante la Guerra de Sucesión (siglo XVIII), y pudo ser utilizada militar o estratégicamente de manera ocasional durante la Guerra de la Independencia y quizá las Guerras Carlistas (siglo XIX), hasta su definitivo abandono.