La torre medieval de la Torreta (Bé d’Interès Cultural), que dóna el nom actual a la serra, és una de les principals fites i monuments històrics del paisatge elder. Es tracta d’una obra de tàpia calicostrada de planta quadrangular (4,7 m de costat). L’excavació arqueològica dels anys 2003 i 2004 va comprovar que només es conservaven 2,41 m. d’alçada màxima, així com quatre departaments annexos al nord, pràcticament arrasats. La torre es va restaurar l’any 2011 fins a una cota de 6 m., a partir de les fotografies datades entre 1958 i 1971, on s’apreciaven encara 6 tapials de 0,98 m. d’alçada. No obstant això, la torre va haver de tenir bastant més alçada originalment, si prenem com a referència altres torres amb unes dimensions de base similars.

Aquesta torre de guaita es va construir a l’antiga serra del Portitxol, la Força d’Elda, una zona insegura i estratègica, especialment després de la Guerra dels Dos Peres (1356-1370), també afectada per escaramusses i incursions periòdiques musulmanes des del regne nassarita de Granada. La talaia es va situar a la frontera sud-occidental del regne de València, entre els territoris de les corones d’Aragó i Castella. A instàncies de la reina Sibil·la de Fortià, senyora d’Elda, el rei Pere IV el Cerimoniós va disposar, el 15 de desembre de 1386, la creació d’un servici de vigilància i duana de dos hòmens a la torre construïda poc abans al pas muntanyós, a costa d’un peatge (un diner real o ral de València) cobrats a vianants, animals de tir, cadira o càrrega. La torre mantenia així la seguretat al camí entre Elda (Aragó) i Saix (Castella) i, de manera secundària, al camí de la Noguera, que es dirigia cap a Petrer.

L’ús de la talaia sembla continuar durant el final de l’Edat Mitjana, prolongant-se almenys fins a inicis del segle XVII. Posteriorment, s’esmenta l’existència de la torre durant la Guerra de Successió (segle XVIII), i va poder ser utilitzada militarment o estratègicament de manera ocasional durant la Guerra del Francès i potser les Guerres Carlistes (segle XIX), fins al seu definitiu abandonament.