Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Prvopočátky stavby kostela, který je dominantou Čáslavi, spadají do 12. století. Kostel prošel řadou stavebních úprav v průběhu šesti století do dnešní podoby. V roce 1910 zde byly v podvěžní kapli nalezeny ostatky Jana Žižky z Trocnova. Velkým lákadlem pro návštěvníky je také vyhlídková věž.

Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.