Nedaleko Chlístovic u Kutné Hory najdete zbytky hradu Sion. Na místě hradu bylo původně nevelké hradiště. Roku 1423 získal území Jan Roháč z Dubé, který v roce 1426 zahájil výstavbu nevelkého hradu Sion, který byl vystavěn na skalnatém ostrohu ze tří stran chráněn říčkou Vrchlicí.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Novodobá židovská obec ve městě Čáslav započala svou historii v polovině 19. století. Na jeho konci přišla pro čáslavské židovské obyvatele doba společenského a kulturního rozkvětu, která na přelomu století vyvrcholila stavbou nové synagogy na tehdejší Rudolfově třídě (dnešní Masarykově ulici čp. 111).

Obec tehdy oslovila významného vídeňského architekta Wilhelma Stiassniho, jenž se podílel i na stavbě Jubilejní synagogy v Praze v Jeruzalémské ulici. Ten pro Čáslav navrhl synagogu v maurském slohu, která měla nahradit starší modlitebnu doloženou od poloviny 19. století. Plány tohoto židovského stavitele byly promptně schváleny Izraelitským spolkem i městským úřadem roku 1897, ale ještě dva roky trvalo, než se začalo se stavbou. Možnou příčinou byl nedostatek financí. Na stavbu přispěli nejen obyvatelé Čáslavi a okolí, ale i rodina Rotschildů ve Vídni. Stavební práce začaly 13. března 1899 a již 2.9.1899 se uskutečnila slavnostní kolaudace.

Čáslavská synagoga představuje stavbu vysoké architektonické úrovně a je chráněna jako kulturní památka České republiky.