První zmínky o Hrádku, tehdy ještě v podobě opevněné dřevěné tvrze, pocházejí již z roku 1312. Z této tvrze ji na hrádek – vrcholně gotické sídlo, nechal přestavět kutnohorský královský rychtář Václav z Donína v letech 1400 – 1420.

Kostel sv. Jakuba – označovaný jako románská perla – byl postaven mezi lety 1148-1156. Jedná se o tradiční románskou podélnou jednolodní stavbu, označovanou také jako kostel panský či tribunový. Rozsahem dochování původních románských konstrukcí, vysokou uměleckou úrovní a výtvarně bohatým exteriérem se řadí mezi nejvýznamnější románské sakrální stavby na území Čech.

Prvopočátky stavby kostela, který je dominantou Čáslavi, spadají do 12. století. Kostel prošel řadou stavebních úprav v průběhu šesti století do dnešní podoby. V roce 1910 zde byly v podvěžní kapli nalezeny ostatky Jana Žižky z Trocnova. Velkým lákadlem pro návštěvníky je také vyhlídková věž.