Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.

Kamenný dům je postaven na předhusitských základech a v dnešní době patří mezi nejvýznamnější památky pozdně gotické architektury v Evropě. Kamenný dům je zároveň součástí městské památkové rezervace zapsané na Seznamu světového dědictví UNESCO. Dům patřil měšťanovi Prokopovi Kroupovi, který byl roku 1499 povýšen do šlechtického stavu.

Bohatě zdobený kamenný štít domu je prací mistra Brikcího Gauskeho z Vratislavi. Roku 1839 byl dům upraven a v letech 1900-1902 regotizován architektem Láblerem. Při obnově byla například doplněna socha Madony od profesora J. Kastnera.

Novodobá židovská obec ve městě Čáslav započala svou historii v polovině 19. století. Na jeho konci přišla pro čáslavské židovské obyvatele doba společenského a kulturního rozkvětu, která na přelomu století vyvrcholila stavbou nové synagogy na tehdejší Rudolfově třídě (dnešní Masarykově ulici čp. 111).

Obec tehdy oslovila významného vídeňského architekta Wilhelma Stiassniho, jenž se podílel i na stavbě Jubilejní synagogy v Praze v Jeruzalémské ulici. Ten pro Čáslav navrhl synagogu v maurském slohu, která měla nahradit starší modlitebnu doloženou od poloviny 19. století. Plány tohoto židovského stavitele byly promptně schváleny Izraelitským spolkem i městským úřadem roku 1897, ale ještě dva roky trvalo, než se začalo se stavbou. Možnou příčinou byl nedostatek financí. Na stavbu přispěli nejen obyvatelé Čáslavi a okolí, ale i rodina Rotschildů ve Vídni. Stavební práce začaly 13. března 1899 a již 2.9.1899 se uskutečnila slavnostní kolaudace.

Čáslavská synagoga představuje stavbu vysoké architektonické úrovně a je chráněna jako kulturní památka České republiky.