In de Peñon de Ifach hebben zich diverse bevolkingen gevestigd tijdens de voorbije eeuwen. In de westelijke helling zijn sporen van een iberisch dorp, die ten tijde van de romeinse eeuw naar de onderste landengte afzakte. Er zijn aanwijzingen dat men ten tijde van de middeleeuwen terug naar de helling keerde, tot uiteindelijk de bevolking door de vele aanvallen vanuit de zee terug afdaalde en een nieuw systeem van verdediging creërden. De Penon is eigendom geweest van diverse particulieren tot wanneer deze in 1987 de eigendom werd van de Generalidad Valenciana die het als natuurpark verklaarde.