Das 1560 gebaute Haus weist die für diese Zeit üblichen Vorkragungen der oberen Geschosse auf und ist reich an Verzierungen.
Die Pfortmühle verdankt ihren Namen der bereits im Jahr 1405 an der Fischpforte erbauten Mühle, die ursprünglich im Besitz der Stadt war.