Stary Żywiec neboli místo, na němž se na počátku 14. století rozprostírala nejstarší osada na tomto území, se v současnosti nachází na… dně Żywieckého jezera. Dnešní Żywiec, tak jak jej známe, tj. na soutoku řek Koszarawy a Soły, vznikal před polovinou 15. století. Nedlouho poté byl poblíž náměstí postaven farní chrám Narození Panny Marie. Stavěl se patrně ve 2. polovině 15. století z kamene a cihel v době, kdy patřila oblast kolem Żywce rodu Komorowských. V letech 1515–1542 doznala gotická stavba prvních úprav, v jejichž rámci se zvětšily loď a presbytář. V roce 1547 kostel vysvětil krakovský biskup Erazm Ciołek, a to na patrocinium Narození Panny Marie a sv. Vavřince. Další představitelé rodu rovněž přistoupili k zvelebení chrámu, když k němu v 80. letech 16. století přistavěli věž s renesanční lodžií, resp. na přelomu 16. a 17. století k chrámové lodi pohřební kapli. Představitelé rodu Wielopolských se pak v 18. století při přestavbě interiéru řídili barokními vzory. Pozdější zásahy se omezovaly především na likvidaci škod způsobených např. požáry. Poslední významná modernizace kostela, jež proběhla ve 20. letech 20. století, spočívala ve vybudování pohřební kaple żywieckých Habsburků. Żywiecká konkatedrála je orientovaná. Loď a užší, uzavřený trojboký presbytář si zachovaly gotickou podobu. Na čtvercovém půdorysu postavená věž je zakončena renesanční arkádovou galérií, pod čímž je podepsán benátský architekt Jan Ricci, stejně jako pod pěknými stylovými portály. K bokům lodi byla přistavěna renesanční kaple Nanebevzetí Panny Marie (kaple Komorowských, dostavěna v roce 1610) a novorenesanční kaple Panny Marie Čenstochovské (pohřební kaple Habsburků, postavená v roce 1929 podle plánů Franciszka Mączyńského). Vedle presbytáře najdeme kapli Getsemanské zahrady ze 17. století. Jednolodní interiér je vybaven barokním mobiliářem ze 17. a 18. století. Na levém bočním oltáři je umístěn basreliéfový gotický triptych vytvořený někdy kolem roku 1500, s výjevem Nanebevzetí Panny Marie. V samém sousedství chrámu se tyčí kamenná zvonice z roku 1723.