Roku 1356 hrad koupil císař Svaté říše římské a český král Karel IV. V následujícím období jej zastavoval různým nájemcům panského či rytířského původu, kteří se zde v poměrně rychlém sledu střídali.

Při obléhání roku 1427 se hrad vzdal husitům, kteří ho z části pobořili a vypálili. Rozsah dnešního zámeckého komplexu je nepochybně dílem následné, pozdně gotické obnovy a přestavby hradu Janem z Vízmburka v polovině 15. století. Následně byly Žleby jednou z opor královské moci Jiřího z Poděbrad ve východních Čechách.

V 16. století se tu vystřídala řada zástavních držitelů, z nichž nejvýznamnější byli Bohdanečtí z Hodkova a Václav Chotouchovský z Nebovid. Za jejich držení došlo asi ve 2. polovině 16. století k přestavbě starého středověkého hradu na čtyřkřídlý renesanční zámek s arkádovým nádvořím tak, jak se v jádru dochoval dodnes. V rozjitřené době třicetileté války, která nepřála stavebnímu podnikání, vlastnil zámek Heřman Černín či Rudolf Trčka.

Z dalších majitelů je třeba zmínit alespoň ty nejvýznamnější, jakými byli Kaisersteinové, Schönfeldové či Auerspergové. Za těchto majitelů byla realizována barokní přestavba zámku, při které byly vybudovány v té době módní risality na hlavním průčelí a náznak čestného dvora. Na západní straně předzámčí bylo zbudováno hospodářské stavení se stájemi v přízemí a byty v patře.

Roku 1754 se Žleby dostaly do majetku starého tyrolského rodu Auerspergů, v jehož rukou zůstaly až do 20. století. Nejznámějším majitelem z tohoto rodu byl kníže Vincenc Karel Auersperg (*1812 – †1867). Správy svého rozsáhlého dominia se mladý kníže ujal v roce 1832, kdy mu bylo dvacet let. Roku 1845 pojal Vincenc Karel za svou manželku princeznu Vilemínu rozenou Colloredo ‒ Mansfeld, která se stala, spolu se svým manželem a jeho matkou Gabrielou rozenou Lobkovic , iniciátorkou romantických úprav zámku. Od roku 1849 byla upravována samotná zámecká stavba. Především byl zámek opatřen novodobými hradbami s četnými věžemi, které měly evokovat vzhled středověkého hradu. Inspiraci pro přestavbu severního průčelí naopak čerpali v alžbětinské renesanci. Auerspergové se při romantické přestavbě samozřejmě neomezili pouze na exteriérovou úpravu zámku a jeho okolí, ale stejně tak proměnili i jeho vzhled zevnitř. Interiéry vybavili množstvím různorodých sbírek zbraní, nábytku, kožených tapet, obrazů, vitráží, rukopisů, knih a luxusního nádobí. Východní křídlo zámku tzn. dnešní I. prohlídkový okruh sloužil již od konce 19. století jako prohlídková trasa pro veřejnost a tuto jedinečnou atmosféru si interiéry zámku v nezměněné podobě dochovaly dodnes.

V červenci roku 1867 kníže Vincenc Karel zemřel a panství bylo dočasně spravováno ovdovělou kněžnou Vilemínou ve prospěch nejstaršího nezletilého syna a dědice Františka Josefa Auersperga (*1856 – †1938). Manželka a syn Vincence Karla myšlenku romantických Žlebů udrželi i dlouhou dobu po jeho smrti a věnovali se jejímu uchování a zdokonalení. V roce 1938 dědí Žleby po smrti Františka Josefa jeho syn Ferdinand (*1887 – †1942), který umírá bezdětný nedlouho po otci v roce 1942, a zámek Žleby se dostává do držení rodiny jeho sestry Marie rozené Auersperg, provdané Trauttmansdorff (*1880 – †1960). Této rodině byl zámek Žleby odebrán na základě dekretu prezidenta republiky č. 12/1945 Sb.