Le Fort Saint-Elme fut construit selon les directives de Charles Quint (Duc de Bourgogne, Empereur du Saint Empire Romain Germanique et Roi d'Espagne) autour d'une tour préexistante sur les hauteurs de Collioure, les Albères finissant dans le bleu de la Méditerranée. Il a été réaménagé par Vauban.
Il est en cours de rénovation (2006) et ouvrira prochainement au public. Il présente une galerie souterraine faisant le tour de la fortification polygonale.

L'histoire du Fort Saint Elme remonte à la conquête des Maures qui à partir du VIIIe siècle occupèrent tout le languedoc-Roussillon (Wali de Narbonne). Un système de communication fut élaborée avec l'édification de tours sur lesquelles des feux pouvaient être allumés. Au XIVe siècle les rois de Majorque dont la résidence d'été était le château de Collioure, firent reconstruire une tour de surveillance, la "Guardia" sur ce point de surveillance idéal. Durant le XVe siècle, cette tour est appelée tour de Saint-Elme.

En 1505, des travaux permettent d’adapter la tour aux contraintes nouvelles de l’artillerie. En 1552, l’architecte maître Ramiro livre la place à l'empereur Charles Quint. La tour initiale de Saint-Elme est alors entourée d'une redoute. Puis en 1680 Vauban aménage les structures défensives sous les ordres de Louis XIV. A cette époque, le Roussillon est français depuis 20 ans seulement et la menace du voisin espagnol reste d'actualité malgré le traité des Pyrénées.

Sous la Révolution, la région fut le théâtre de combat sanglant et le Fort Saint Elme fut conquis succésivement par les troupes espagnoles puis françaises.

Fort St Saint Elme 66 photos images pictures