V roku 1470 dostal Podmanický povolenie postaviť opevnený kaštieľ. Neskôr v roku 1628 postavili Illésházyovci nový opevnený kaštieľ. Nie je známe či na mieste pôvodného kaštieľa.
No na mieste pôvodného Illésházyovského kaštieľa stojí v súčasnosti základná škola na Duklianskej ulici. Kaštieľ bol zbúraný v roku 1940, aby uvoľnil miesto stavbe školy, ktorá po určitých opravách a zmenách stojí dodnes.
Podľa niektorých dohadov, stál kaštieľ na mieste bývalého Bánovského hradu.