Ce fut grâce aux libéralités d'Hélie de Castillon, alors évêque d'Agen (1149-1182) que les Templiers s'établir à Agen. Mais on ne peut pas fixer avec exactitude dater cette installation. Une certitude demeure, c'est immédiatement après le concile de Troyes qu'ils prirent pied dans le Languedoc et surtout dans l'Agenais où ils devinrent très puissants. Labénazie donne quelques informations sur cette implantation : " On ne sait au vray, le lieu de leur premier établissement. Il y en a qui croient que ce fut dans le fort de la ville, près de la tour de M. Despalais, dans la maison de M. Barbier de la Serre, pour deux raisons : la première est de ce qu'elle est bâtie d'une façon assez particulière, les murailles qui aboutissent à la rue qui porte le nom de rue du Temple sont bastie en arceaux qui sont en forme d'arcs-boutans ; la seconde raison est qu'il y a dans la maison une espèce de chapelle voûtée avec beaucoup d'anneaux de fer suspendus à la voûte, comme pour y attacher des lustres ou des lampes. De ce temps, on disait vespres le soir, vers le commencement de la nuit. Cette voûte tient presque toute la longueur de la maison. Ils y furent établis vers l'an 1154 " , (ms, t.II, livre III, chapitre XXII, page 216 et suivantes).

Cette affirmation ne s'appuie sur aucun document. Cependant elle peut être retenue, car il y avait encore, à la fin du siècle dernier, des vestiges de voûtes assez imposantes, situés sur tout le rez-de-chaussée de la maison ayant appartenu à M. Aunac, et avant lui à M. Barbier la Serre. Il se peut que ces vestiges soient en fait les restes de la chapelle de l'ancienne préceptorie du Temple qui étendait son autorité sur toute cette partie de la ville. Elle portait, au siècle dernier, le nom de quartier et de rue du Temple, qui aboutissait jusqu'à la porte Sainte Quitterie.

Non loin d'Agen, les Templiers construisirent au cours de cette période une importante forteresse située sur les bords du Lot qui prit le nom de Temple de Brueil ou de Bruhles. Cette imposante bâtisse était destinée aussi bien à la défense qu'à l'hospitalité des pèlerins. Les Maîtres de l'Ordre qui avaient leur résidence à Agen, s'empressèrent de venir y habiter, abandonnant ainsi leur maison de ville qui ne forma plus qu'un membre de la nouvelle préceptorie. Elle prit le nom de Sainte Quitterie d'Agen.

Indépendamment de ces deux maisons, les Templiers possédaient également en Agenais, dans le vallon du Pont-de-Casse, la forteresse de Sainte Foye de Jérusalem qui joua un rôle important lors des invasions anglaises ; tout à côté, Merens, Sauvagnas, Golfech, Saint Sulpice de Rivalede situé sur les bords de la Lède et une Saint Jean de l'Herme ; une église à Port Sainte Marie.

A la suppression de l'ordre du Temple, les Hospitaliers, principalement installés dans le toulousain, prirent pied dans l'agenais en héritant des biens du Temple et notamment de l'église Sainte Quitterie et de ses dépendances.

Un plan dressé par les chevaliers de Malte nous renseigne un peu plus sur la localisation de cet enclos qui était compris entre la rue du Temple au Nord, la rue Saint Martial à l'Est et la rue de Narbonne au Sud. Aujourd'hui ce quartier est entièrement modifié et il semble impossible de voir de l'une de ces rues, l'enclos de Sainte Quitterie.

Durant les quatre siècles que la commanderie de Sainte Quitterie appartint aux chevaliers de Malte, elle n'eut qu'un rôle modeste dans l'essor de la ville d'Agen. Elle fut occupée par des frères servants qui entretenaient l'église. Elle était visitée de temps en temps par les Grands Maîtres, le plus souvent ceux de la commanderie de Bruhles toute proche, " qui jouissait d'une sorte de suprématie sur les maisons de l'Ordre de la contrée ".

Au cours de l'année 1508, la commanderie du Temple de Bruhles et d'Agen fut réunie à celle de la Cavalerie, et les commandeurs de ces deux possessions furent, de fait, ceux de la Cavalerie. Dès 1650, la commanderie du Temple fut rétablie telle qu'elle était au début et on lui adjoignit même la commanderie de Sauvagnas comme nouveau membre. Seule, la vieille église de Sainte Quitterie d'Agen, était laissée à l'abandon et menaçait de ruines. Ce fut à la demande du Grand Prieur de Toulouse, commandeur de Bruhles et de la Cavalerie, Raymond de Gozon-Melac que cet édifice fut sauvé.

Les Pénitents Gris, qui n'avaient pas de chapelle, s'installèrent dans la vieille demeure des Templiers, à charge pour eux de s'occuper des restaurations de l'édifice. Ils allaient y demeurer jusqu'en 1633. Ils abandonnèrent les lieux, trouvant sans doute les charges trop lourdes et allèrent s'installer ailleurs. Une fois de plus, Sainte Quitterie se retrouva abandonnée et cela devait durer plus d'un siècle.


Au mois décembre 1746, Monseigneur de Chabannes obtint du roi l'autorisation de fonder une maison refuge pour les " filles de mauvaise vie ". Après de vaines recherches, il se tourna vers l'église en ruines de Sainte Quitterie et en demanda la cession à Fançois de Pallavicini, alors commandeur du Temple de Bruhles. De longs pourparlers s'engagèrent, deux commissaires furent délégués : frère Joseph de Raymond Deaulx et frère Claude Silvestre de Timbrune. Ils se transportèrent à Agen le 3 juillet 1755 afin d'établir un état des lieux. Ils constatèrent que le membre de Sainte Quitterie consistait en une chapelle dédiée à cette sainte, à côté de laquelle se trouvait un cloître avec au milieu un petit jardin. Une tour carrée jouxtait la chapelle. Les parties trouvèrent un accord et le 17 juillet 1755, un bail fut consenti en la faveur de l'évêque d'Agen afin d'y établir son Refuge.

L'église et le cloître seront détruits pour laisser place à de nouvelles constructions : maison, prison, etc. Pendant la révolution, le Refuge fut réuni à l'Hôpital Général. En 1806, le collège fut provisoirement transféré dans un des nouveaux bâtiments. Ils sont d'ailleurs toujours occupés aujourd'hui, en partie par l'école Joseph Bara.

Le 19 mars 1839, les frères de la Doctrine Chrétienne s'installèrent dans la bâtisse méridionale nouvellement construite. L'ancien local du Refuge, ou l'école normale s'était installée, sera suite à l'affluence de nombreux élèves devint telle qu'elle dut être agrandie. En octobre 1842, furent cédés aux Frères Marianites les jardins et la moitié de la maison du Refuge, la partie Nord-Est restant la propriété de Monsieur Levêque. Ce ne fut qu'après le décès de ce dernier, en 1871, que les Frères devinrent possesseurs de l'ensemble.

A partir de 1908 et sur une autre partie du terrain occupé autrefois par les Templiers, sera érigé le nouvel hôtel des postes. Entre les nouvelles constructions et la laïcisation des noms de rues qui sera mené sous l'impulsion du très anticlérical J.B. Durand maire d'Agen de 1881 à 1889, toute trace des Templiers à Agen semble avoir disparu.