La Tour Joliette est une tour édifiée à la fin du XII ième siècle puis rénovée dans la seconde partie du XV ième siècle. La partie des remparts nord  qui lui est attenante a été édifiée sur la muraille gallo-romaine d'origine. Dans la tour, des embrasures ont été aménagées afin de permettre l'installation de canons.

Cette partie des remparts, comprenant la Tour Joliette, a fait l'objet d'un classement au titre des monuments historiques le 16 mai 1928.