Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Novodobá židovská obec ve městě Čáslav započala svou historii v polovině 19. století. Na jeho konci přišla pro čáslavské židovské obyvatele doba společenského a kulturního rozkvětu, která na přelomu století vyvrcholila stavbou nové synagogy na tehdejší Rudolfově třídě (dnešní Masarykově ulici čp. 111).

Obec tehdy oslovila významného vídeňského architekta Wilhelma Stiassniho, jenž se podílel i na stavbě Jubilejní synagogy v Praze v Jeruzalémské ulici. Ten pro Čáslav navrhl synagogu v maurském slohu, která měla nahradit starší modlitebnu doloženou od poloviny 19. století. Plány tohoto židovského stavitele byly promptně schváleny Izraelitským spolkem i městským úřadem roku 1897, ale ještě dva roky trvalo, než se začalo se stavbou. Možnou příčinou byl nedostatek financí. Na stavbu přispěli nejen obyvatelé Čáslavi a okolí, ale i rodina Rotschildů ve Vídni. Stavební práce začaly 13. března 1899 a již 2.9.1899 se uskutečnila slavnostní kolaudace.

Čáslavská synagoga představuje stavbu vysoké architektonické úrovně a je chráněna jako kulturní památka České republiky.

Kamenný dům je postaven na předhusitských základech a v dnešní době patří mezi nejvýznamnější památky pozdně gotické architektury v Evropě. Kamenný dům je zároveň součástí městské památkové rezervace zapsané na Seznamu světového dědictví UNESCO. Dům patřil měšťanovi Prokopovi Kroupovi, který byl roku 1499 povýšen do šlechtického stavu.

Bohatě zdobený kamenný štít domu je prací mistra Brikcího Gauskeho z Vratislavi. Roku 1839 byl dům upraven a v letech 1900-1902 regotizován architektem Láblerem. Při obnově byla například doplněna socha Madony od profesora J. Kastnera.