Impozantní palác s barokní fasádou, který tvoří dominantu Palackého náměstí, pamatuje nejdávnější počátky města. Archeologické nálezy dokládají, že v závěru 13. století zde stál věžový dům, jehož gotická věž sloužila k bydlení, ale také k obranným účelům, neboť v areálu domu se nacházel výrobní objekt, kde se zřejmě hutnilo stříbro. Později byly k tomuto „základu“ připojeny ještě další objekty.

Kostel sv. Jana Nepomuckého je atypický svou polohou v řadě okolních budov. Projekt kostela zpracoval „císařský“ architekt F. M. Kaňka v letech 1734-1754 a s výslednou podobou nepomáhal K. I. Dientzenhofer. Je jediným kutnohorským kostelem, který byl postaven a vybaven v jediném stylu pozdním baroku s prvky rokoka a barokního klasicismu. Stavbu financovala kutnohorská obec z výnosů záduší a za přispění soukromých donátorů. Vzniklo dílo mimořádně hodnotné a konsistentní jak ve své části architektonické, tak i ve výzdobě.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.