Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.

Muzeum Ostrov lidových krojů disponuje největší soukromou sbírkou historických venkovských oděvů v České republice. Unikátní expozice je úplně první veřejnou prezentací všech krojových oblastí České republiky. Lidové kroje jsou projevem lidové kultury 19. století, proto v Muzeu Ostrov lidových krojů najdete především exponáty z tohoto období. Jsou zde zastoupeny všechny významnější regiony česky i německy mluvících Čechů, Moravanů a Slezanů.

První zmínky o Hrádku, tehdy ještě v podobě opevněné dřevěné tvrze, pocházejí již z roku 1312. Z této tvrze ji na hrádek – vrcholně gotické sídlo, nechal přestavět kutnohorský královský rychtář Václav z Donína v letech 1400 – 1420.