Kolínská synagoga je největší synagogou postavenou u nás do 18. století. Pokud nepočítáme Prahu, tak se jedná o nejstarší a nejcennější památku svého druhu v Čechách. Postavena byla na místě starší dřevěné modlitebny již na přelomu 14. a 15. století jak dokládá letopočet a nápis na pamětním kamenu vloženém do východního průčelí.

První zmínky o Hrádku, tehdy ještě v podobě opevněné dřevěné tvrze, pocházejí již z roku 1312. Z této tvrze ji na hrádek – vrcholně gotické sídlo, nechal přestavět kutnohorský královský rychtář Václav z Donína v letech 1400 – 1420.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.