Na mieste dnešného Bytčianskoho kaštieľa stál v 13. storočí menší hrad. Jeho vzhľad poznáme z historických rytín - opevnená obytná veža s dvorcom. Patril nitrianskemu biskupstvu. Jedným z posledných majiteľov, predtým než ho kúpil František Thurzo a prestaval na kaštieľ, boli bratia Rafael a Ján Podmanickovci.
Bytčiansky hrad získal v roku 1563 za 17 000 zlatých František Thurzo, člen významnej podnikateľskej rodiny (podnikali v tažbe a výrobe medi). Hrad pravdepodobne nevyhovoval jeho potrebám a tak na jeho mieste dal v rokoch 1571-1574 postaviť nový renesančný kaštieľ. Jeho stavbou poveril talianskeho majstra Jána Kiliana z Milána. Vznikol kaštieľ s pravidelným štvoruholníkovým pôdorysom so štyrmi nárožnými vežami, ktorý sa stal vzorom pre stavbu mnohých renesančných kaštieľov (napríklad kaštieľ v Šali). Jednotvárnosť kaštieľa v Bytči odstránila veľká hranolová veža nad vstupom do nádvoria.
František Thurzo zomrel v roku 1574 na Lietavskom hrade a jeho rozsiahle majetky zdedil syn Juraj. Okrem Bytčianskeho panstva získal aj hrady Hričov, Lietava, Orava a ďalšie. V rokoch 1590-1600 sa aktívne zúčastnil na bojoch proti Turkom. Za zásluhy sa stal jedným z popredných osobností cisárskeho dvora - uhorským palatínom.
Juraj Thurzo dal v roku 1601 vybudovat v areáli kaštiela tzv. Sobášny palác. Priestrannú budovu venovanú slávnostným rodinným príležitostiam, najmä svadobným hostinám svojich šiestich dcér. Podľa záznamov na svadbe dcéry Judity s pánom Vršateckého hradu Ondrejom Jakušicom sa minulo 35 volov, 117 teliat, 156 jahniat, 116 prasiat, 27 sŕn, 188 zajacov, 526 jarabíc, 414 kapúnov, 784 sliepok, 419 husí, 5365 vajec, 70 hlavátok a 2300 pstruhov.
Juraj Thurzo sa na rozdiel od značnej časti šľachty na Slovensku nepriklonil k Bočkayovmu povstaniu a tak sa stal terčom hajdúskych povstaleckých vojsk, ktoré ničili majetky zemepánov verných cisárovi. Tento osud stihol v máji 1605 aj Bytču a jej kaštieľ, ktorý hajdúsi podpálili a vyplienili. Opravou kaštieľa bol poverený ďalší taliansky majster, Andrej Pocabello. Pri týchto opravách postavili aj arkádu na nádvorí ústrednej budovy.
V Bytčianskom kaštieli sa 7. januára 1611 konal súd nad spoluvinníkmi krvavej panej čachtického hradu, Alžbety Báthoryovej. Výrokom súdu boli odsúdené dve ženy, Ilona a Dora, ako hlavní vinníci. Podľa rozsudku obidvom vytrhali prsty a za živa ich upálili. Ján Ficko bol odsúdený na stratu hlavy a spálenie jeho mŕtveho tela. Tretia žena, Katarína, bola pre nedostatok dôkazov oslobodená. Rozsudok bol ihneď vykonaný.
Po smrti Juraja Thurza roku 1616 v Bytčianskom kaštieli (kde bol aj pochovaný, neskôr však boli jeho pozostatky prevezené na Oravský hrad) získal jeho dedičstvo jediný syn Imrich. Ten sa, na rozdiel od svojho otca, verného prívrženca Habsburgovcov, zapojil do mocenských zápasov na strane Bethlena. V roku 1621, pri uzatváraní tzv. nikolburského mieru, zomrel. Panstvo na základe vdovského práva prevzala jeho manželka Kristína Nyáry, ktorá da v roku 1624 vydala za Mikuláša Eszterházyho. Ten sa o rok neskôr stal uhorským palatínom a dostal od kráľa do daru aj bytčianske panstvo.
Eszterházyovci vlastnili bytčianske panstvo až do polovice 19. storočia. V roku 1862 ho prenajali a v roku 1868 predali obchodníckej rodine Popperovcov. V rokoch 1889 a 1904 stihli kaštieľ požiare. Popperovci prebudovali kaštiel na byty a Sobášny palác na okresný súd. Tieto úpravy a najmä poškodenie počas druhej svetovej vojny značne narušili pôvodnosť stavby.
3. apríla 1950 prešiel Bytčiansky kaštieľ do vlastníctva štátu. S realizáciou pamiatkovej obnovy sa začalo po roku 1960. Dlhodobými úpravami sa postupne vracia areálu podoba z thurzovského obdobia. Hodnotu kaštieľa vyzdvihuje aj vyhlásenie za národnú kultúrnu pamiatku.