Ce prieuré est construit à l'emplacement d'un ancien ermitage du Ve siècle, à l'époque de Saint Cassien, probablement sur les ruines d'un temple romain dont on dit qu'il faut dédié à la victoire de Marius au IIe siècle après Jésus-Christ.