Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Na skalním břehu řeky Labe se tyčí hranolová pozdně gotická kamenná věž zvaná Práchovna. Postavena byla v první polovině 15. století a v současné době slouží jako vyhlídková věž.

Římskokatolický hřbitovní kostel Všech svatých s kostnicí je spolu s katedrálním chrámem Nanebevzetí Panny Marie a svatého Jana Křtitele – součástí bývalého cisterciáckého opatství v Sedlci, založeného již v roce 1142.