Renesanční stavbu nechal vybudovat opat Ambrož z Telče v roce 1589. Nyní sídlí v budově zámku městský úřad, muzeum, knihovna a řada obchodů.
Zámek původně sloužil jako letní rezidence pro představené premonstrátského kláštera v Zábrdovicích. Roku 1820 koupili panství
bratři Augustin a Ignác, rytíři z Neuwallu, kteří panství a zámecké interiéry zvelebili v duchu klasicismu. V té době na zámku sídlil také vrchnostenský úřad, po zrušení poddanství v r. 1848 zde měla sídlo správa velkostatku, který v roce 1881 koupil
Josef Duffek z Ostrovačic, žil zde až do své smrti v r. 1922.
V roce 1870 přišli na kloboucké panství pracovat
rodiče T. G. Masaryka, jejich syn Tomáš je zde jako student několikrát navštívil a Klobouky si oblíbil. Poté, když už jeho rodiče z Klobouk odešli, se sem ještě několikrát vrátil. Při těchto návštěvách bydlel na zámku, strávil zde také prázdniny se svojí mladou manželkou Charlottou. Naposled, už jako prezident republiky, oficiálně navštívil Klobouky dne 18. června 1924. K 10. výročí vyhlášení samostatné Československé republiky byla na fasádu zámku umístěna
pamětní deska s textem: V tomto domě žil jako student a universitní docent do roku 1880 T. G. Masaryk, tvůrce a první president Československé republiky.