Früher umgab eine ringförmige Stadtmauer St. Goar, der Zugang war nur für Befugte durch die gesicherten Tore erlaubt. Das Stadttor flussaufwärts war in die zinnenbewehrte Mauer integriert. Es wurde von einem in den Rhein hineinragenden dreigeschossigen Rundturm flankiert, der neben einem Kegeldach mehrere kleine Türmchen trug.
In der Napoleonischen Zeit wurde die Stadtmauer entlang der Rheinseite abgebrochen, um Platz für den Ausbau der Rheintalstraße, der Route Napoleon, zu schaffen. Dem Abbruch fiel auch der mächtige Rundturm zum Opfer, allerdings blieb zunächst noch das in den Rhein hineinragende Fundament erhalten. Der Stumpf erhielt im Volksmund die Bezeichnung ‚Türmchen‘. Auf den Fundamenten der Stadtmauer wurden teilweise Wohnhäuser errichtet, bspw. das gegenüber der Fährzufahrt gelegene Haus Heerstraße 33, das auf Resten des östlichen Stadttores basiert. Die Ortsbezeichnung ‚Vor dem Türmchen‘ für den östlich dieser Stelle gelegenen Teil erinnert noch an den imposanten Torturm, der hier Jahrhunderte lang die Stadt schützte.
Nicht weit von der historischen Stadtgrenze entfernt befindet sich mit dem ‚Loreley-Haus‘ eines der ältesten erhaltenen Wohnhäuser der Stadt. Auch im Fundament dieses Gebäudes befinden sich Reste der rheinseitigen Stadtmauer. In diesem Haus soll, der Romanze ‚Die Lurley‘ von Julius Wolff zufolge, die Loreley ihre Jugend verbracht haben, nachdem der Hausbesitzer, der Fischer Peter Sandrog, sie beim Fischfang als Kind aus dem Rhein gezogen hatte.
