Impozantní palác s barokní fasádou, který tvoří dominantu Palackého náměstí, pamatuje nejdávnější počátky města. Archeologické nálezy dokládají, že v závěru 13. století zde stál věžový dům, jehož gotická věž sloužila k bydlení, ale také k obranným účelům, neboť v areálu domu se nacházel výrobní objekt, kde se zřejmě hutnilo stříbro. Později byly k tomuto „základu“ připojeny ještě další objekty.

Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.