Zwischen dem 13. und 14. Jahrhundert wurde der Gutshof von Calpe ummauert, um es vor muslimischen Angriffen zu schützen. Aufgrund seiner steilen Küstenlage litt die Bevölkerung unter den ständigen Angriffen von Piraten, sodass Charles V im 16. Jahrhundert die Reparatur dieser anordnete. Die Anwohner hatten Zugang zur dieser Zitadelle über ein einziges Portal - auch "El Portalet" genannt.
1637 erfolgte der härteste Angriff. Die berberischen Piraten überfielen das Dorf ohne nicht einmal gesehen zu werden. Die Wächter schliefen und sprangen über die Wände mit Hilfe der Treppen. Quasi alle Bewohner von Calpe wurden während dieses Angriffs als Gefangene genommen.
Ein weiterer wichtiger Angriff, den das Dorf am 22. Oktober 1744 erlitt, gab Anlass zum Fest des Schutzpatrons. Nach diesem Piratenangriff wurde ein Projekt zur Stärkung der Stadt ins Leben gerufen und der Bau einer zweiten Stadtmauer angeordnet, die die Vorbezirke und die Altstadt umgibt. Der "Torreó de la Peça" verdankt seinen Namen einer Festung, die im 20. Jahrhundert niedergerissen wurde und welche zu früheren Zeiten ein Teil der Abwehr war.