Das verschachtelte Gebäudeensemble am Nordrand des Kirchplatzes geht in seinen Ursprüngen auf den ehemaligen Templerhof der Stadt zurück. Hier befand sich im 12. und 13. Jahrhundert die Residenz des einflussreichen, im Jahr 1118 zum Kampf gegen die Feinde des Kreuzes gegründeten Ordens in St. Goar. Von hier aus verwalteten die Templer ihre Güter und Besitztümer in der Umgebung. Nach der Auflösung des Templerordens durch Papst Clemens V. im Jahr 1312 fielen die Gebäude dem Stift zu, welches noch im 16. Jahrhundert Grundzins aus der Verpachtung des Templerhofes bezog.
Die von hier rheinwärts verlaufende Gasse erinnert mit ihrem Namen an Victor Napp. Der Industrielle entstammte der Familie, die über 350 Jahre eine bedeutende Lohgerberei (eine spezialisierte Form der Gerberei, die Rinderhäute zu strapazierfähigen, kräftigen Ledern verarbeitete, beispielsweise für Schuhsohlen, Stiefel, Sättel oder Ranzen¹)in der Stadt betrieb. Victor Napp engagierte sich für die Bildung der Bevölkerung und vermachte der Stadt 1867 eine Stiftung zur Förderung der Schulen.
Ursprünglich hieß diese Gasse Kapellengasse, da sich hier eine kleine Kapelle befand. Auf den ehemaligen Standort der Kapelle an der Ecke Kirchplatz/Victor Napp-Gasse deutet heute noch ein Gedenkstein mit einem Christusmonogramm hin. Der spätere Name Ochsengasse war ein Hinweis auf das Gasthaus ‚Zum Ochsen‘, das man in dieser kleinen Straße aufsuchen konnte.