Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.

Novodobá židovská obec ve městě Čáslav započala svou historii v polovině 19. století. Na jeho konci přišla pro čáslavské židovské obyvatele doba společenského a kulturního rozkvětu, která na přelomu století vyvrcholila stavbou nové synagogy na tehdejší Rudolfově třídě (dnešní Masarykově ulici čp. 111).

Obec tehdy oslovila významného vídeňského architekta Wilhelma Stiassniho, jenž se podílel i na stavbě Jubilejní synagogy v Praze v Jeruzalémské ulici. Ten pro Čáslav navrhl synagogu v maurském slohu, která měla nahradit starší modlitebnu doloženou od poloviny 19. století. Plány tohoto židovského stavitele byly promptně schváleny Izraelitským spolkem i městským úřadem roku 1897, ale ještě dva roky trvalo, než se začalo se stavbou. Možnou příčinou byl nedostatek financí. Na stavbu přispěli nejen obyvatelé Čáslavi a okolí, ale i rodina Rotschildů ve Vídni. Stavební práce začaly 13. března 1899 a již 2.9.1899 se uskutečnila slavnostní kolaudace.

Čáslavská synagoga představuje stavbu vysoké architektonické úrovně a je chráněna jako kulturní památka České republiky.