Smrťou Matúša Čáka Trenčianskeho v roku 1321 zanikla moc oligarchov a rozsiahle majetky prešli do vlastníctva panovníka. Na hornej Nitre bol jediným strediskom kráľovských majetkov Bojnický hrad a tak vznikla nevyhnutná potreba výstavby druhého hradu. Tejto úlohy sa zhostili synovia bána Gileta, Mikuláš a Ján, kasteláni z neďalekých Bojníc. Hrad postavili po roku 1330, keď ešte používali titul castellani de Baymocz, no určite pred rokom 1352, keď už vystupujú ako castellani de Baymocz et Kesselökö (z maď. kese - v staršom význame sivý a kö - kameň). Hrad pravdepodobne tvorila hranolová obranná veža a priľahlý obdĺžnikový palác. Podľa farby stavebného materiálu ho nazvali Sivým Kameňom.
Do roku 1388 spravovali Sivý Kameň kráľovskí kasteláni z Bojníc. Potom prešiel do súkromných rúk. Kráľ Žigmund Luxemburský ho za podporu a pomoc daroval uhorskému palatínovi Leustachovi Jolšvaiovi. Po jeho smrti v tureckom zajatí zdedili hrad i panstvo jeho synovia: Peter, ktorý o krátky čas umrel, a Juraj, ktorý sa stal zvolenským županom. Jeho smrťou v roku 1429 rod Jolšvaiovcov vymrel a hornonitrianske majetky pripadli korune. Do tohto obdobia bol Sivý Kameň pod správou majiteľov neďalekého hradu Bojnice. Bojnice sa však dostali do vlastníctva Nofryovcov (Onufryovcov) a Sivý Kameň kráľ Žigmund daroval v roku 1434 Gregorovi Majténimu do dedičného vlastníctva. Ocenil jeho zásluhy v bojoch s Turkami a pri obrane Uhorska proti husitom.
V roku 1524 Sivý Kameň vyhorel. V rámci opravných prác ho pravdepodobne rozšírili o stredný hrad. O dva roky neskôr, v bitke pri Moháči, padol do tureckého zajatia vnuk Gregora Majténiho, Bartolomej, a bolo ho treba vykúpiť. Oprava hradu i výkupné Majténiovcov finančne zaťažilo. Začiatkom 40-tych rokov prepadlo sivokamenské panstvo vojsko bratov Jána a Rafaela Podmanickovcov. Hrad síce útoku odolal ale Majténiovci i tak doplatili za vernosť cisárovi. Povstalecké vojská vyplienili dediny a spôsobili ďalšie škody. V polovici 16. storočia bol Sivý Kameň ešte prestavaný. Rozšírili ho o dolný hrad. Dolné nádvorie sprístupňoval prejazd v bránovej veži. Prístupová cesta prichádzala k bráne uzavretým, opevneným predhradím pravdepodobne rozdeleným vstavanou bránou na dve nadväzujúce časti.
17. storočie premenilo Sivý Kameň na zrúcaninu. Majténiovci opäť doplatili na svoju oddanosť cisárskemu dvoru. Po zlyhaní plánov na ženbu s dcérou kráľa Ferdinanda II. sedmohradské knieža Gabriel Bethlen v roku 1623 obnovil bojovú činnosť svojich jednotiek. V septembri 1626 dobyli a vyplienili sivokamenské panstvo, Majténiovcov odvliekli do zajatia. Dielo skazy dokonali obyvatelia neďalekej Prievidze, na vozoch odviezli obilie a iné zásoby zo Sivého Kameňa. Podľa výpovede svedkov vraj spôsobili väčšie škody ako samotné vojsko. Poškodený hrad strácal na význame. Majténiovci sa postupne presťahovali do kaštieľov a kúrií a centrum panstva presunuli do Novák. Takmer neobývaný hrad slúžil už iba ako skladisko a väzenie. Jeho úplný koniec zavŕšilo povstanie Františka II. Rákocziho. V rokoch 1703 - 1708 na hornej Nitre často bojovali kurucké vojská s cisárskymi. Sivý Kameň bol opäť vyplienený a úplne zničený. Vážnemu poškodeniu neunikol ani rodový archív Majténiovcov, uložený dovtedy na hrade. Opustený hrad chátral. Jeho zánik urýchlili obyvatelia okolitých obcí, ktorí ho dlhé roky používali ako stavebný materiál.