Starobylý kostelík sv. Ondřeje se hřbitovem stojí o samotě na návrší nad říčkou Vrchlicí na okraji Chlístovic. Na protějším návrší nad pravým břehem Vrchlice se nachází zřícenina hradu Sion.

Impozantní palác s barokní fasádou, který tvoří dominantu Palackého náměstí, pamatuje nejdávnější počátky města. Archeologické nálezy dokládají, že v závěru 13. století zde stál věžový dům, jehož gotická věž sloužila k bydlení, ale také k obranným účelům, neboť v areálu domu se nacházel výrobní objekt, kde se zřejmě hutnilo stříbro. Později byly k tomuto „základu“ připojeny ještě další objekty.

První zmínky o Hrádku, tehdy ještě v podobě opevněné dřevěné tvrze, pocházejí již z roku 1312. Z této tvrze ji na hrádek – vrcholně gotické sídlo, nechal přestavět kutnohorský královský rychtář Václav z Donína v letech 1400 – 1420.