První zdrojové informace o Rajczi pocházejí ze 17. století. Avšak pravděpodobně již od 16. století zde existovala pastevecká osada. Když byli majiteli Rajczi Wielopolští, byl v roce 1674 ve vsi postaven první dřevěný kostel. Na začátku 19. století Rajczu získali Siemiońští. Právě oni přispěli k rozvoji vesnice a postavili zámecké objekty. Ve 40. letech 19. století Anastazy Siemioński v Rajczi zprovoznil huť nazývanou „hamr”. Ve stejné době v sousedství postavil i svou usedlost – jednopodlažní zámek s přístavbami na stranách. U zámku pak založil rozlehlý 30ti-hektarový park. V roce 1854 Rajczu koupila italská rodina Primavesi, která měla výjimečně dobré vztahy u císařského dvora ve Vídni. Kromě toho vlastnila banku a mnoho průmyslových závodů v různých zemích císařství. Rovněž oni přispěli k modernizaci zámku a přidali mu novogotické prvky. Po 40 letech rodina Primavesi Rajczu prodala Lubomirským. A právě kníže Władysław Lubomirski se v letech 1895-96 zasloužil o konečnou podobu zámku. Mezi jinými přistavěl druhé podlaží a rizality na bocích hlavního vchodu doplnil o štíty s odtoky charakteristickými pro severní novorenesanci. Ve středu jižní fasády se nachází věž se vstupní bránou a lodžií přikrytou střechou se třemi spády. V letech největší slávy na zámku bylo 26 obytných pokojů se štukovou výzdobou. Pobývali v nich známí umělci – hosté knížete Lubomirského - mj. Karol Szymanowski, Grzegorz Fitelberg či Ludomir Różycki. V letech 1914-1916 patřil zámek Habsburkům, kteří jej během války zpřístupnili pro nemocniční účely. Tuto funkci plní dodnes – v současné době jako Léčebně-pečovatelský ústav. V zámeckém parku najdeme krásné památné lípy, duby, borovice vejmutovky, jilmy horské či javory.