Najstaršie správy sa týkajú prvého hradu, ktorý nechala postaviť kráľovná Konštancia, manželka českého kráľa Přemysla Otakara I. a dcéra uhorského kráľa Bela III., v 30-tych rokoch 13. storočia na svojich zdedených majetkoch. Vznikol ako súčasť pohraničného opevnenia - pevnej reťaze hradov rozkladajúcich sa od Devína až po Trenčín. Bol kráľovským hradom, ktorý dostávala šľachta do zálohy za vojenskú a hospodársku podporu kráľovskej moci. Tak sa v ňom za pomerne krátke obdobie, dve a pol storočia, vystriedal celý rad majiteľov. V roku 1296 zakúpil hrad Matúš Čák Trenčiansky ale po jeho smrti (roku 1321) opäť pripadol kráľovi. O sto rokov neskôr ho vlastnili Wolfurthovci (do roku 1440), potom pezinský a svätojurský gróf Juraj, jeho syn Peter, od ktorého ho v roku 1511 získal Ján a Juraj Zápoľský a napokon Thurzovci, s ktorými vstupuje do dejín hradu prvý krát podnikateľská vrstva.
Thurzovci získali svoje bohatstvo z banského podnikania. Jedným z ich obchodných partnerov sa stala bohatá podnikateľská rodina Fuggerovcov z juhonemeckého Augsburgu. Tiež sa zaoberali ťažbou drahých kovov a obchodom. Svoj vzťah upevnili aj príbuzenským zväzkom, keď sa v roku 1497 Juraj Thurzo oženil s Annou Fuggerovou. Preto Thurzovci v roku 1535 predali Červený Kameň práve Fuggerovcom, ktorí za neho dali 107 401 zlatých. Plánovali ho prestavať na pevnosť na uskladnenie a ochranu tovaru, s ktorým obchodovali.
Prestavbou Červeného Kameňa na pevnosť pôvodný hrad úplne zanikol. Jeho podobu zo 14. a 15. storočia nepoznáme. Na jeho základoch a s použitím jeho konštrukcií vyrástla mohutná pevnosť zodpovedajúca najmodernejším požiadavkám. Tvorili ju štyri nárožné bašty pospájané nízkymi hrubými múrmi okolo obdĺžnikového nádvoria. Jediné obytné krídlo postavili medzi západnou a južnou baštou. Pod ním vybudovali jedinečné skladovacie priestory, ktoré môžeme dodnes obdivovať.
Fuggerovci nevlastnili Červený Kameň dlho. Už po smrti predstaviteľa rodu Antona Fuggera (roku 1560) nastali medzi dedičmi spory. V roku 1570 bolo panstvo úradne odhadnuté a v roku 1580 kupuje prvý podiel Mikuláš II. Pálffy. Ďalšie podiely si zabezpečil sobášom s Máriou Fuggerovou v roku 1583 a do roku 1588 sa mu podarilo vykúpiť zvyšok. Ihneď po získaní hradu začal s prestavbou hradu. Najprv vybudoval vstupné krídlo s hodinovou vežou a potom začal výstavbu ďalšieho krídla na protiľahlej strane, medzi južnou a východnou baštou. V prízemí tohto krídla vznikla rozsiahla sieň - hradná lisovňa vína. Nakoniec upravuje pôvodný fuggerovský palác. Cieľom všetkých spomenutých prestavieb bolo premeniť málo pohodlnú pevnosť na komfortne vybavený hrad.
Do stavebného vývoja hradu zasiahol v 50-tych rokoch 17. storočia vnuk Mikuláša II., Mikuláš IV. Pálffy. Jeho baroková prestavba rešpektovala pôvodný pôdorys a obmedzila sa na bohaté riešenie interiérov. Z tohto obdobia pochádza aj fontána v strede nádvoria a cisterna pri prízemnom krídle. Pozoruhodná je salla terrena, miestnosť chrániaca pred žiarou slnka. O zmenu vzhľadu sa okolo polovice 18. storočia zaslúžil Rudolf Pálffy. Dal prestavať krídlo oproti vstupnému a súčasne zvýšil obidve priľahlé bašty o poschodie a podkrovie. Po požiari v roku 1758 bolo prestavané aj vstupné krídlo a hodinová veža. Pri opravných a rozširovacích prácach pamätali aj na obe predhradia a vybudovali veľký kamenný most namiesto starého padacieho mosta. Vo vonkajšom predhradí postavili novú konskú stajňu s jazdiarňou. Z tohto obdobia je aj vonkajšia brána vedúca k lipovej aleji. Neskôr bola dokončená úprava areálu pred hradom a postavená krížová cesta.
Pálffyovci vlastnili Červený Kameň až do roku 1945. Po druhej svetovej vojne sa začalo s obnovou architektúry hradu. V jeho centrálnej časti zriadili múzeum, do ktorého sústredili historické mobiliáre a predmety nielen z Červeného Kameňa ale aj z okolitých hradov a kaštieľov. V roku 1949 bol hrad vyhlásený za štátny kultúrny majetok a v roku 1970 za národnú kultúrnu pamiatku.