Das Haus, an dem sich der Brunnen befindet, war ursprünglich das Gasthaus ‚Zum Grünen Wald‘, hieraus leitet sich der Name für den Grünewaldsbrunnen ab. Er wird von weiteren Brunnen in der Borngasse gespeist. Seine erste urkundliche Erwähnung ist bereits aus dem Jahr 1482. Hier versorgten sich über Jahrhunderte die Bewohner der Unteren Straße mit Wasser.
Direkt neben dem Gasthaus ‚Zum Grünen Wald‘ befand sich das Gasthaus, die ‚Krone‘. Dieses Gebäude wurde später von der Familie des Beigeordneten Christoph Abraham Herpell übernommen und mit der Auflage, hier eine Lehranstalt einzurichten, der Stadt vermacht. Das Vermögen der Geschwister Herpell diente als Gründungskapital einer Stiftung, aus deren Mitteln im Jahr 1919 die Herpellschule als höhere Schule für Jungen und Mädchen gegründet wurde. Allerdings hatte diese Schule nur kurze Zeit Bestand, sie wurde bereits zehn Jahre nach ihrer Gründung wieder aufgelöst. Das Haus trägt noch heute den namen ‚Herpellhaus‘.