La Ermita de San Antón posiblemente fue, en otros tiempos, una mezquita donde los musulmanes de la época medieval realizaban sus oraciones, tal y como se da a entender en algunos escritos antiguos, para posteriormente convertirse en lugar de culto cristiano.
A principios del siglo XX la Ermita, que estaba situada en la Placeta de San Antón, se encontraba en ruinas, por lo que fue derribada. La restauración de la Fiesta a San Antón en el año 1941 y el posterior auge que esta tomó con la incorporación de la Fiesta de los Moros y Cristianos, hizo necesaria la existencia de un lugar de culto donde venerar la imagen de San Antonio Abad. Este deseo se hizo realidad cuando una ciudadana de Elda, cedió unos terrenos de su propiedad situados muy cerca de lugar que ocupaba su remota antepasada y la Junta Central, construyó allí la nueva Ermita dedicada al Santo anacoreta heredera de toda tradición anterior en torno a la imagen y a la fiesta de San Antón. El 28 de mayo de 1950 fue bendecida e inaugurada recibiendo en ella la imagen del Santo con disparos de arcabucería, siendo la Ermita que ahora podemos encontrarnos.