Wo sich heute das Finanzamt befindet, stand einst das aus der Zelle des Heiligen Goar hervorgegangene Kloster, vermutlich im 7. Jahrhundert als eines der ersten Klöster auf deutschem Boden gegründet. Es war reich mit Schenkungen der fränkischen Könige ausgestattet und entsprechend wohlhabend. Über eine Galerie war es mit der benachbarten Stiftskirche verbunden, sodass die Ordensleute direkt in die Kirche gelangen konnten.
Im Jahr 1137 wurden die Klosteranlage und Teile der Stiftskirche ein Raub der Flammen, anschließend erfolgte der Wiederaufbau als Chorherren-Stift. Die meist aus adligen Verhältnissen stammenden Mitglieder hatten, im Gegensatz zu den Mönchen, nicht mehr die Pflicht zu Mission und Seelsorge.
Mit der Einführung der Reformation in St. Goar wurde ab 1527 das Chorherren-Stift nach und nach aufgelöst, das Bauwerk anschließend als Schule genutzt. 1789 zerstörte ein Brand die Anlage. Das Gebäude des heutigen Finanzamts wurde 1790 an deren Stelle als evangelische Schule errichtet. Die Keller des durch 15 gleichartige Segmente gegliederten Gebäudes sind sehr unterschiedlich und stammen teilweise noch von den mittelalterlichen Häusern.
