D'abord liée à la vie religieuse, la ville voit ses premières fortifications apparaître au Moyen-âge autour de l'abbaye Saint-Bertin et du monastère. La motte castrale du Xe siècle est à l'origine, entourée de marais. Saint-Omer connaît des conflits jusqu'à la Renaissance. Au début du XIVe siècle, c'est l’une des plus grandes et des plus riches villes d’Europe. Elle est à nouveau fortifiée par les Espagnols dès le XVIe siècle puis, en 1677, Louis XIV reprend la ville, mais Vauban n'apporte aucune modification.
Saint-Omer est démantelée à la fin du XIXe siècle.
​
Aujourd’hui il n’y a qu'une partie des remparts du front Ouest qui est conservée et aménagée en jardin public, sur le bastion.
Ici, se mélangent parfaitement détente et loisirs. Les anciennes douves sont encore visibles et une salle du bastion abrite, comme souvent dans les espaces fortifiés, une colonie de chauves-souris surveillées par la LPO. Un grand travail de gestion environnementale est réalisé sur cet espace. En effet, lors du démantèlement des remparts dont les travaux débutent en 1892, la ville demande la réalisation d’un jardin public. Alors, jusqu’à l’ancienne demi-lune, un jardin à la Française sera réalisé avec un kiosque à musique et des mosaïques florales. Deux casemates seront conservées. La mixité étant souhaitée sur cet espace, l’ingénieur en charge du projet, décide d’imiter la nature en installant un jardin à l’anglaise et un arboretum pour compléter le parc.
​
Trois casernes et des vestiges de la grande enceinte de 1200 sont encore présents. Ce sont alors 20 hectares d'espace fortifié réhabilité dans le cadre urbain.
La motte castrale de Saint-Omer, dont les graffitis de l'ancienne prison font frissonner les visiteurs, accueille toute l'année des événements culturels et touristiques. Ce site est le seul de la région de l’époque des comtes de Flandre, en milieu urbain et encore si bien conservé.
Dans le Pays d’art et d’histoire de Saint-Omer, découvrez les mottes castrales, les vestiges d’enceintes fortifiées, les églises et fermes fortifiées, la Maison de l'Archéologie de Thérouanne (ville détruite par Charles Quint en 1553), et aux abords du territoire : les fortifications d'Aire-sur-la-Lys, Watten et Bergues.
Le jardin public se trouve dans le site patrimonial remarquable de Saint-Omer.