Pilica stanowiła w XIV w. własność rodu Toporczyków, właścicieli zamku w Smoleniu. Prawdopodobnie to oni wznieśli w Pilicy pierwszy zamek. Ród ten zaczął niebawem, od nazwy miejscowości, zwać się Pileckimi. W 1569 r. tutejsze posiadłości kupili Padniewscy herbu Nowina. Wkrótce też, w okolicach przełomu XVI i XVII wieku przebudowali oni zamek, lub też wznieśli go od początku. Była to rezydencja w stylu włoskiego, późnego renesansu, do której ród Padniewskich przeniósł się ze Smolenia. Niedługo później kolejny właściciel, Jerzy Zbaraski, kontynuował rozbudowę. Budowla często zmieniała właścicieli. Wkrótce panami stali się tu Wiśniowieccy, a potem sławny Stanisław Warszycki, który dokonał kolejnej przebudowy. Pałac, o czterdziestu komnatach, otoczony został fortyfikacjami z sześcioma bastionami. Była to - jak na owe czasy - nowoczesna twierdza. W 1655 r. Szwedzi zdobyli jednak zamek, ale Warszyckiemu udało się wkrótce go odbić. W 1705, podczas wojny północnej, obiekt znów zajęły wojska szwedzkie. W 1731 kupiła go Maria z Wesslów Sobieska, dokonując przebudowy na modłę francuską - w stylu barokowym.
Wiek XIX przyniósł kolejną przebudowę, w stylu neorenesansowym oraz ozdobienie fortyfikacji w modnym wówczas stylu romantycznym. W Polskiej Rzeczpospolitej Ludowej zamek, odebrany ostatnim właścicielom, Arkuszewskim, stał się siedzibą zakładu poprawczego dla młodzieży. Pod koniec istnienia PRL, podczas ślamazarnie posuwającego się remontu, odkryto pozostałości średniowiecznej budowli, stanowiącej prawdopodobnie pierwotny zamek Toporczyków. W czasach nam najbliższych pałac, o który upomnieli się spadkobiercy, stał się obiektem procesów.
Pilicki pałac, który – miejmy nadzieję – odzyska dawny blask, wraz z otaczającymi go fortyfikacjami znajduje się w obrębie parku będącego wybitnym przykładem sztuki ogrodniczej. Kryje on w sobie 6-metrową w obwodzie lipę, zwaną lipą królowej Elżbiety (pani na pobliskim zamku w Smoleniu, żony Władysława Jagiełły). Także tutejsze fortyfikacje stanowią jeden z bardziej interesujących obiektów tego typu. Obok znajduje się kopiec, poświęcony powstańcom styczniowym. Rejon zamku jest także miejscem martyrologii - podczas okupacji stacjonujący tu pluton niemieckiej, zmotoryzowanej żandarmerii dokonał pod murami zamku zbrodni, rozstrzeliwując ok. 80 Polaków i ok. 70 Żydów.
