Les murs de la ville datent des années 1120 quand, sous la menace d'une attaque des Almohades du sud, le sultan almoravide au pouvoir, Ali Ben Youssef a décidé d'encercler sa ville de garnison avec des fortifications. Les murs étaient construits il avait jusqu'à 9 m (30 pi) de hauteur et ont formé un circuit de 10 km (6 miles), ponctuée par quelques 200 tours et 20 portes.