Nejstarší písemná zmínka o zručském hradu pochází z roku 1335, v níž se jmenuje Heřman ze Zruče – o něm se předpokládá, že již neobýval tzv. Starý zámek. V následujících letech se majitelem stali příslušníci rodu Kolovrat: roku 1355 Petr z Kolovrat, roku 1364 Ješek z Kolovrat se syny Václavem, Janem a Albertem. Když Václav vstoupil do řádu, jeho bratři hrad prodali strýci Mikuláši Kolovratovi ze Zruče. Po jeho smrti v roce 1405 nebo 1406 hospodařili jeho synové Mikuláš a Aleš nejprve společně, pak se roku 1410 podělili majetkem. Aleš vlastnil hrad nejméně do roku 1417. Během husitských válek patřil hrad Zručským z Chřenovic, příslušníkům rodu Kolovratů.

Novověk přinesl řadu nových majitelů a postupné architektonické změny. V roce 1547 prodal Zdeněk z Kolovrat hrad Jindříchu Střelovi z Rokyc. Následovali Jan Černčický z Kácova (od 1548), Jiří z Kalenic (od 1553) a jeho syn Adam, který jej roku 1560 postoupil Janovi Staršímu z Kalenic. Někdy během té doby proběhla renesanční přestavba původního gotického hradu. Kalenicům zámek patřil až do stavovského povstání, po kterém byl majetek konfiskován a roku 1623 jej koupil Arnolt Perglas z Losentic.

Sedmnácté a osmnácté století charakterizovalo časté střídání majitelů: Markéta Mecerodová, Albrecht Kryštof Hložek, Lambert František Hřevenář, Vit de Nathermann a další. Od roku 1693 vlastnil zámek Ferdinand Antonín Mladota ze Solopisk, který jej roku 1700 postoupil Janu Václavovi Valkounovi z Adlaru. Bratři Jan Ludvík a Ferdinand Bohuslav Serinsové z Eichenau jej vlivem dluhů roku 1749 prodali Rausům z Rausenbachu. Mezi další majitele patřili Macneven O'Kelly, Rumerskirchové, Windischgrätzové a rytíři z Löwenthalu.

Větší stavební úpravy se uskutečnily až v devatenáctém století. Po požáru z roku 1781 provedl Jan Skrejšovský v letech 1872–1878 významné opravy a přestavbu. V roce 1885 odkoupil zručské statky podnikatel Jan Schebek, jehož syn Adolf dal zámek přestavět do novogotické podoby, kterou vidíme dodnes. Roku 1948 byl zámek státem konfiskován a sloužil jako sídlo místního národního výboru, lidová škola umění a knihovna. Po roce 1989 byla rodině Schebků vrácena v rámci restitucí. V roce 2003 odkoupilo zámek s parkem město Zruč nad Sázavou.

Nejstarší stavební fáze hradu měla zřejmě dvojdílný charakter: na východě se nacházelo předhradí, na západě pak hradní jádro s téměř čtvercovým půdorysem, chráněné skále tesaným a částečně vyzděným příkopem. Hlavní palác stál podél jižní strany v jihovýchodním nároží. Dělostřelecké opevnění se skládalo z bašt a kurtinami – jižní strana byla nejlépe fortifikována třemi polookrouhlými baštami, jihovýchodní nároží bránila dvojitá bašta a na severozápadě stála bateriová věž se střílnami. Zámek tak architektonicky vyjadřuje dlouhý přechod od gotiky přes renesanci až po novogotiku.