L'édifice est reconstruit au siècle suivant et est pendant tout le Moyen Âge une importante étape de pèlerinage. Saint Patern, premier évêque attesté de l'évêché de Vannes est un des sept saints fondateurs de Bretagne. Ses reliques, conservées à Vannes, attirent la foule des pèlerins du Tro Breizh. Le pèlerinage crée des pugilats homériques dans la ville au XIVe siècle. Le clergé de Saint Patern et les chanoines de la cathédrale se disputent le droit de présenter les reliques, de recevoir les vénérations, et donc les offrandes[1].
Les fidèles de la paroisse de Saint Patern[2] défendent leurs droits contre les chanoines aidés par des sergents du duc. Les paroissiens font le guet et s'enferment dans l'église à l'arrivée des partisans des chanoines. Le clergé recommande cependant aux fidèles de jeter les offrandes par les fenêtres de l'église. L'affaire est réglée par l'intervention du clergé de Rome. Au XVe siècle, le pèlerinage fut en partie délaissé après le passage et la prédication de Saint Vincent Ferrier, qui fit de l'ombre au saint fondateur.
L'église romane fut victime des tempêtes en 1721-1726. L'édifice actuel a été reconstruit dès 1727 sur les plans de l'architecte vannetais Olivier Delourme. Le grand escalier, la tour de granit et sa lanterne sont commencés en |1769 mais la flèche ne peut être achevée qu'en 1826.
De janvier 2007 à mars 2008, l'église connaît une restauration complète dans le style baroque d'origine : toiture, charpente et voûte en lambris, enduits, étanchéité, installations électriques, consolidation du clocher, réfection complète du dallage avec intégration d'un plancher chauffant, ré-aménagement du chœur avec la pose d'un ensemble de stalles de chœur en chêne massif sculpté datant de 1695, ayant été initialement installées aux Carmes de Ploërmel, puis ayant transité par la chapelle des Ursulines de Saint-Pol-de-Léon[4].
Chronologie de la construction
: Effondrement du clocher sur l'église du XIe siècle. Le clocher surmontait alors le carré du transept, dressé sur quatre piliers. L'église était en forme de croix latine.
Juillet 1723 : Dès juillet, un projet de reconstruction de l'édifice, par Olivier Delourme, est approuvé par le conseil de fabrique.
: Début des travaux pour la reconstruction de l'église en plusieurs phases.
1903 : Restauration de la couverture (reprises partielles) et de la charpente du chœur et des transepts : des tirants métalliques sont mis en place sur les fermes.
1906 : Restauration de la voûte en plâtre sur lattis de la croisée du transept à la suite de chutes de plâtre.
1922 - 1925 : Élargissement du chœur et de la sacristie, à l'emplacement des deux porches du XIXe siècle suivant les plans de l'architecte Caubert de Cléry.
1946 : Inscription du clocher et son porche à l'inventaire supplémentaire des Monuments historiques.