Počátky vesnice se datují k přelomu 13. a 14. století. V 15. století se zde usadilo několik rodin z Moravy. Samostatná farnost byla založena v roce 1742. V 1. polovině 16. století byl v Rychwaldě postaven dřevěný kostel, jenž v současnosti stojí v Gilowicích. Jeho stavbu financoval Krzysztof Komorowski, majitel żywieckého panství, vysvěcen byl krakovským biskupem Erazmem Ciołkem. V dobách, kdy v Rychwaldě tento dřevěný chrám stál, věnovala tehdejší majitelka panství Katarzyna Grudzińska, roz. Komorowska, v roce 1644 farnosti obraz Panny Marie pocházející ze Środy Wielkopolské. Obraz získal velmi záhy punc zázračného a mariánský kult se začal šířit velice rychle. Katarzynin manžel, Piotr Samuel Grudziński nechal z vděčnosti za uzdravení vybudovat v roce 1659 v kostele pod tento zázračný obraz oltář. Církevní úřady již tehdy uznávaly, že obraz Panny Marie Rychwaldské je nadán milostmi. Zástupy poutníků přicházejících do Rychwaldu byly důvodem, proč se v polovině 18. století přistoupilo k vystavění nového kostela. K požehnání základního kamene došlo v roce 1732, avšak zahájení stavby se oddálilo o 10 let, a to kvůli úmrtí dědice ślemieńského panství a iniciátora jeho výstavby Franciszka Wielopolského. Z velké části financoval stavbu chrámu tehdejší majitel tohoto panství Hieronim Wielopolski. V roce 1756 se konala jeho konsekrace. Do barokního kostela sv. Mikuláše byl pořízen okázalý hlavní oltář, do nějž byl vsazen obraz Panny Marie Rychwaldské. Rok poté byl starý dřevěný kostelík přenesen do Gilowic. Rychwaldský chrám sv. Mikuláše poutá pozornost svými masivními věžemi a je trojlodní stavbou s půlkruhovým presbytářem. V bohatě zdobeném interiéru přitahuje pohled především hlavní oltář ve stylu regénce, představujícím přechodnou formu mezi barokem a rokokem. Oltář je dílem Szymona Gogolczyka z Frýdku. Mariánský obraz byl namalován na desce z lipového dřeva a pochází s největší pravděpodobností z 15. století. Nezapře přitom vliv závěrečné etapy byzantské školy. Panna Maria drží v levé ruce malého Ježíše, upíná na diváka pohled plný pokoje a milosrdenství a vůbec celé její vzezření je plné důstojnosti. Obraz byl hned dvakrát korunován – jednak v roce 1965 papežskými korunkami Stefanem kardinálem Wyszyńským a poté krakovským arcibiskupem Karolem Wojtyłou. V současnosti toto poutní místo spravují minorité. Poblíž kostela stojí dřevěná kaple Božského srdce Páně.