Construite au XIII ième siècle sous le règne du Duc de Bretagne Jean II, la Porte Prison est l'une des portes les plus ancienes de Vannes. Son nom initial était Porte Saint-Patern car cette porte donne accès au quartier de Saint-Patern. Cette porte était entourée de deux tours. Au cours de la seconde moitié du XIV ième siècle, le Duc de Bretagne Jean IV dota cette porte d'un pont-levis à bascule et d'une porte étroite pour le passage des piétons. Son successeur Jean V améliora les défenses par l'installation de mâchicoulis et la construction de canonnières et d'une barbacane, petite fortification avancée, Au XV ième siècle, le blason de la Bretagne a été placé au-dessus de la porte. Ce blason a été martelé durant la Révolution Française.

L'appellation de Porte Prison date de la Révolution. En effet, à cette date, les suspects et les condamnés sont enfermés dans les tours que ceux-ci soient royalistes, comme l'état-major des émigrés débarqués à Quiberon en 1795, ou prêtres réfractaires comme le bienheureux Pierre-René Rogues dont on peut voir le gisant à la Cathédrale de Vannes.

Suite à la construction d'une prison plus adaptée, la porte et les tours sont vendues à un particulier en 1825. Durant le XIX ième siècle, les propriétaires privés successifs n'ont pas toujours les moyens nécessaires à l'entretien de cet important ouvrage militaire. C'est ainsi que, en 1856,  la tour sud dû être démolie car trop abimée. Seule une partie de son rez-de chaussée et du parement extérieur de son niveau inférieur subsistèrent à cette démolition. Sur la partie démolie de la tour, un immeuble fut construit.

Cette démolition scandalisa de nombreux érudits vannetais. Afin d'éviter que ce saccage se renouvelle, ceux-ci fondèrent l'association "Les Amis de Vannes" ayant pour objet la défense du patrimoine de la ville de Vannes. C'est grâce à leur intervention que ce qui reste de la Porte de la Prison et de sa tour furent classées le 2 mai 1912 au titre des monunents historiques et poussa la municipalité à les racheter le 25 juin 1912. Les soubassements de la tour détruite ne furent classés au titre des monuments historiques que le 24 mars 1936 et rachetés par la municipalité le 30 novembre 1936. Depuis cette date, la Porte Prison et sa tour furent l'objet de plusieurs campagnes de restaurations dont une en 2010 et une autre en 2012.