En el Peñon de Ifach, se han establecido diversos poblados desde tiempos remotos. En la ladera occidental hay constacia de un poblado íbero, en época romana la población descendió al istmo y durante la Edad Media vuelve a haber indicios de ocupación  de las laderas hasta que finalmente ante los ataques por mar, sus habitantes descendieron al pueblo y crearon un nuevo sistema defensivo. El peñón ha sido propiedad de varios particulares hasta que en 1987 pasó a ser propiedad de la Generalitat Valenciana que lo declaró Parque Natural.