Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Původní hrad s názvem Černý Kostelec je poprvé zmiňován v roce 1348. Po vzniku Československa v roce 1918 byl zámek i panství Černý Kostelec vyvlastněn při pozemkové reformě a přešel do majetku státu. V současnosti na zámku sídlí Lesy ČZU, které jsou vysokoškolským lesním statkem České zemědělské univerzity v Praze. V letní sezoně je pro veřejnost otevřen prohlídkový okruh, ve kterém se návštěvníci dozví mnoho zajímavého z bohaté minulosti této unikátní stavby spojené s mnoha zvučnými jmény aktérů naší historie a jejich rody.

Prvopočátky stavby kostela, který je dominantou Čáslavi, spadají do 12. století. Kostel prošel řadou stavebních úprav v průběhu šesti století do dnešní podoby. V roce 1910 zde byly v podvěžní kapli nalezeny ostatky Jana Žižky z Trocnova. Velkým lákadlem pro návštěvníky je také vyhlídková věž.