Kamenný dům je postaven na předhusitských základech a v dnešní době patří mezi nejvýznamnější památky pozdně gotické architektury v Evropě. Kamenný dům je zároveň součástí městské památkové rezervace zapsané na Seznamu světového dědictví UNESCO. Dům patřil měšťanovi Prokopovi Kroupovi, který byl roku 1499 povýšen do šlechtického stavu.

Bohatě zdobený kamenný štít domu je prací mistra Brikcího Gauskeho z Vratislavi. Roku 1839 byl dům upraven a v letech 1900-1902 regotizován architektem Láblerem. Při obnově byla například doplněna socha Madony od profesora J. Kastnera.

Hrad Žleby je poprvé připomínán roku 1289. Zakladateli gotického hradu byli nejspíše páni z Lichtenburka. Jeho budovatelem byl pravděpodobně ve 3. čtvrtině 13. století Jindřich z Lichtenburka, i když původ hradu je s největší pravděpodobností ještě starší.