První zmínky o Hrádku, tehdy ještě v podobě opevněné dřevěné tvrze, pocházejí již z roku 1312. Z této tvrze ji na hrádek – vrcholně gotické sídlo, nechal přestavět kutnohorský královský rychtář Václav z Donína v letech 1400 – 1420.

Impozantní palác s barokní fasádou, který tvoří dominantu Palackého náměstí, pamatuje nejdávnější počátky města. Archeologické nálezy dokládají, že v závěru 13. století zde stál věžový dům, jehož gotická věž sloužila k bydlení, ale také k obranným účelům, neboť v areálu domu se nacházel výrobní objekt, kde se zřejmě hutnilo stříbro. Později byly k tomuto „základu“ připojeny ještě další objekty.

Novodobá židovská obec ve městě Čáslav započala svou historii v polovině 19. století. Na jeho konci přišla pro čáslavské židovské obyvatele doba společenského a kulturního rozkvětu, která na přelomu století vyvrcholila stavbou nové synagogy na tehdejší Rudolfově třídě (dnešní Masarykově ulici čp. 111).

Obec tehdy oslovila významného vídeňského architekta Wilhelma Stiassniho, jenž se podílel i na stavbě Jubilejní synagogy v Praze v Jeruzalémské ulici. Ten pro Čáslav navrhl synagogu v maurském slohu, která měla nahradit starší modlitebnu doloženou od poloviny 19. století. Plány tohoto židovského stavitele byly promptně schváleny Izraelitským spolkem i městským úřadem roku 1897, ale ještě dva roky trvalo, než se začalo se stavbou. Možnou příčinou byl nedostatek financí. Na stavbu přispěli nejen obyvatelé Čáslavi a okolí, ale i rodina Rotschildů ve Vídni. Stavební práce začaly 13. března 1899 a již 2.9.1899 se uskutečnila slavnostní kolaudace.

Čáslavská synagoga představuje stavbu vysoké architektonické úrovně a je chráněna jako kulturní památka České republiky.