El Jardín de la Música se sitúa en el centro de Elda, si bien, en su origen, se hallaba a las afueras de la ciudad, en una zona donde se prodigaban este tipo de construcciones residenciales antes del crecimiento urbanístico posterior. Oxigena esta zona de Elda y convive con un entorno de edificios construidos en su mayoría a partir de 1980, tras el derribo de chalets, viviendas y fábricas antiguas.

El edificio principal, conocido como Casa Grande del Jardín de la Música, fue construido en 1925 como residencia familiar del industrial zapatero Antonio Porta Rausa. Asaltado a inicios de la Guerra Civil, fue usado como hospital de sangre del Socorro Rojo Internacional durante los años 1936-1937. A principio de la década de los años 50 se comenzaron a construir en la parte de abajo las dos edificaciones que completan este conjunto residencial para los hijos de Porta, uno de los cuales, Antonio Porta Vera, fue alcalde de Elda entre 1959 y 1976.

Adquirida la finca en 1983, el chalet fue restaurado por el Ayuntamiento entre 1985 y 1991 y usado como sala de exposiciones hasta 2017, en que fue objeto de una nueva restauración. El bello edificio, de dos pisos y planta cuadrada, muestra un frente dando a la calle y el otro al jardín. En este último hay un escenográfico pórtico con escalinata y mirador.

Cerrando el conjunto está el muro original perimetral, de obra con piezas de hierro y jarrones de remate. El jardín forma un bonito entorno, con gran arbolado de pinos, parterres con rosales y bancos con azulejos modernistas. Además, desde su renovación, en 2024, cuenta con un área de juegos infantiles, tematizada con motivos musicales, una zona de gimnasia para personas mayores, una fuente en superficie, y una de las características más clásicas del Jardín de la Música, que es el hilo musical audible por todo el jardín. También en 2024, se inauguró la escultura homenaje al músico Ramón Gorgé.