El Jardín de San Carlos fue construido como castillo defensivo fuera de las murallas en el siglo XIV y quedaría unido a la ciudad en el XVI.
Poco a poco fue perdiendo importancia como baluarte o "Fortaleza vieja" y, tras estallar el polvorín que contenía, fue abandonado hasta que ya en el siglo XVIII es recuperado como jardín por don Carlos F. de Croix.

El aspecto actual del Jardín de San Carlos se debe al gobernador Francisco de Mazarredo en 1834 y presenta una característica de jardín romántico.

Ha sido declarado Conjunto Histórico-Artístico junto con las murallas.

Su valor radica en su privilegiada situación desde la que se observa, gracias a su mirador, todo el puerto de La Coruña, en su vegetación, y en la tumba, un sepulcro planteado como monumento funerario, del general inglés Sir John Moore, muerto en la Batalla de Elviña en 1809 luchando mientras defendía el embarco del ejército inglés frente a las tropas napoleónicas francesas del general Soult.