Aufgrund seiner strategisch günstigen Lage besaß St. Goar schon im Mittelalter eine große Bedeutung. Zur Sicherung ihrer Herrschaft ließen die Grafen von Katzenelnbogen vermutlich in der zweiten Hälfte des 14. Jahrhunderts die Stadt von einer Stadtmauer umgeben. Die Stadtbefestigung umfasste acht Türme und stand mit der Burg Rheinfels durch eine Wehrmauer in Verbindung. Die Hangseite oberhalb des Marktplatzes sicherten zwei räumlich nah beieinanderstehende Türme, der Kanzleiturm und der Pulverturm. Von ihrer erhabenen Position ermöglichten sie zugleich den Ausblick auf das Rheintal.
Der fünfeckige, aus vier Stockwerken bestehende Kanzleiturm nahm im Verlauf der Stadtmauer eine Eckposition ein. In ihm hatte der Rheinfelsische Kanzler seinen Sitz, er führte lange Zeit die Verwaltungsgeschäfte des Grafen. Die unteren Räume des Turmes dienten als Gefängnis.
Der fünfstöckige Pulverturm hat über einer runden, mit Ausbauchungen versehenen Basis einen im Grundriss sechseckigen Aufbau. Er diente vermutlich unter anderem der Lagerung von Schießpulver. Angeblich wurden in ihm auch Hexen gefangen gehalten, weshalb er in der St. Goarer Bevölkerung den Namen Hexenturm trägt.
Während der Kanzleiturm die Kämpfe und Stürme der Zeit weitgehend unbeschadet überstanden hat, ist der Pulverturm im Lauf der Jahrhunderte fast ganz verfallen; erst nach 1960 wurde er wieder aufgebaut. Heute sind beide Türme bewohnt.