Impozantní palác s barokní fasádou, který tvoří dominantu Palackého náměstí, pamatuje nejdávnější počátky města. Archeologické nálezy dokládají, že v závěru 13. století zde stál věžový dům, jehož gotická věž sloužila k bydlení, ale také k obranným účelům, neboť v areálu domu se nacházel výrobní objekt, kde se zřejmě hutnilo stříbro. Později byly k tomuto „základu“ připojeny ještě další objekty.

Kostel sv. Jakuba – označovaný jako románská perla – byl postaven mezi lety 1148-1156. Jedná se o tradiční románskou podélnou jednolodní stavbu, označovanou také jako kostel panský či tribunový. Rozsahem dochování původních románských konstrukcí, vysokou uměleckou úrovní a výtvarně bohatým exteriérem se řadí mezi nejvýznamnější románské sakrální stavby na území Čech.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.