Kamenný dům je postaven na předhusitských základech a v dnešní době patří mezi nejvýznamnější památky pozdně gotické architektury v Evropě. Kamenný dům je zároveň součástí městské památkové rezervace zapsané na Seznamu světového dědictví UNESCO. Dům patřil měšťanovi Prokopovi Kroupovi, který byl roku 1499 povýšen do šlechtického stavu.

Bohatě zdobený kamenný štít domu je prací mistra Brikcího Gauskeho z Vratislavi. Roku 1839 byl dům upraven a v letech 1900-1902 regotizován architektem Láblerem. Při obnově byla například doplněna socha Madony od profesora J. Kastnera.

Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.