Ostrý Kameň postavili v 13. storočí. V listinách sa prvý raz spomína v roku 1273 ako jeden z pohraničných hradov stážiacich západnú hranicu Uhorska. Spolu s Korlátskym, Plaveckým a Smolenickým hradom patril do reťaze pevností, ktoré dozerali na tzv. Českú cestu. Išlo o starú historickú cestu z Prahy do Budína používanú už od doby bronzovej. Neďaleko Ostrého Kameňa prekračovala hrebeň Malých Karpát. Význam tejto dopravnej tepny sa ešte zvýšil po roku 1336 tým, že kráľ Karol Róbert udelil osobitné výsady obchodníkom, ktorí po tejto ceste rozvážali tovar.
Gotický hrad vystavali na skale, ktorú od hlavného hrebeňa Zárub oddeľovala priekopa vysekaná do podložia. Hradný objekt sa skladal z tzv. horného gotického hradu s vežou, palácom a kaplnkou a z nižšie položeného predhradia zo 16. storočia, ktoré slúžilo zväčša hospodárskym účelom. Na horný hrad sústredili stráž, bola tu kuchyňa a väznice.
Do roku 1366 spravoval hrad kráľovský kastelán Mikuláš zo Seče, potom ho za verné služby dostal od kráľa do daru. V roku 1394 sa dostal do majetku Stibora zo Stiboríc a po vymretí jeho rodu vystriedal rad vlastníkov: Kegelovičovci, Révaiovci, Turzovci, Forgáčovci. Od 15. storočia prináležal grófom zo Svätého Jura a Pezinka. Od 16. storočia patril Czoborovcom spolu s feudálnym panstvom, ktoré k nemu prislúchalo. V roku 1540 patril hrad bratom Petrovi a Pavlovi Bakičovcom.
V bezprostrednej blízkosti hradu sa 28.05.1704 odohrala bitka medzi rákocziovskými povstalcami a cisárskou armádou. Poslední majitelia Pálffyovci sa o povstalcami ťažko poškodený hrad už nestarali. Posunom Českej cesty cez Bratislavu stratil svoju strážnu funkciu. Pálffyovci preniesli svoje sídlo do pohodlnejšieho kaštieľa v Moravskom Svätom Jáne. To všetko prispelo k zániku hradu, ktorý sa od 18. storočia len rozpadáva.