Hrad Biely Kameň vystavali svätojurskí grófi asi v rokoch 1270 – 1295 namiesto rozľahlého veľkomoravského hradiska, nachádzajúcom sa na protiľahlom kopci. Preto skoršie správy o Bielom Kameni treba stotožnovať s týmto hradiskom. Hrad vyrástol nad pôvodnou cestou na druhú stranu Malých Karpát, ktorá viedla popod Dračí hrádok a Pajštún.
V 14. storočí sa objavili v rodine svätojurských majetkové spory, vďaka ktorým sa zachovali údaje o hrade. Mal dve veže, jednu veľkú v strede a druhú menšiu. Okolo hradného nádvoria boli stavby v dvoch radoch pozdĺž dlhších strán obdĺžnika. Výslovne sa uvádza komora, palác a kaplnka, pod ktorými bola pivnica. Do vnútorného hradu viedla len jedna brána, nad ktorou bola bašta. Okrem toho boli vo vonkajšom areáli dve veže. Okolo vonkajšieho múru, z jeho vnútornej strany – dolný hrad – boli budovy, z ktorých sa spomína iba budova pekára. Horný hrad i spodná časť mali celý rad komôr, ktoré svedčia o tom, že hrad musel mávať dosť velké zásoby. Neskoršie opevnenie hradu zosilnili priekopou a na južnej a severnej strane valmi. Do hradu sa vstupovalo ponad priekopu.
Hrad po vymretí rodu svätojurských v roku 1526 (na hrade Pajštún zomrel Krištof II. Svätojurský) viackrát zmenil majiteľov. Bieleho Kameňa sa zmocnil Ján Zápoľský. V druhej polovici 16. storočia ho vlastnil Gašpar Serédy zo Serede, neskôr gróf Mikuláš Eck zo Salmu, ktorý ho dal do zálohu cisárskemu vojenskému veliteľovi Jánovi Krušicovi. Po jeho smrti sa dostal hrad do rúk Štefana Illesházyho, ktorý si vzal za manželku vdovu po Krušicovi. Jeho smrťou získali do trvalej držby Biely Kameň Pállfyovci, ktorí ho vlastnili až do roku 1611. Po ich presťahovaní do kaštieľa, ktorý si postavili (1609) v dnešnom Svätom Jure, hrad postupne strácal svoju funkciu. Pravdepodobne bol zničený pri tureckom nájazde v roku 1663 a na jeho obnovu už neboli dôvody. Odvtedy je ruinou.