Prvá zmienka o hrade pochádza z roku 1272, podľa ktorej bol majiteľom gróf Smaragdus. Roku 1323 vlastnil hrad Demeter de Nechte a neskôr v roku 1393 sa spomína Vlk Tomas Kazima. Potom bol kráľovským majetkom až do roku 1404 keď ho darom získal Stibor zo Stiboríc. Po vymretí Stiborovského rodu prešiel hrad do majetku Štefana Košeckého, ktorý však upadol do kráľovskej nemilosti a všetky jeho majetky vrátane Košeckého hradu boli skonfiškované.
V roku 1493 získali hrad Zápoľovci, ktorí ho dali do zálohu bratom Rožoňovcom (1516) a potom Petróczymu (1526). Kráľ Ferdinand I. daroval hrad Košecu aj s polovicou k nemu patriaceho majetku Pavlovi Petróczymu, druhú polovicu - Pružinskú dolinu - dostala rodina rožoňovská. Potomok Pavla Petróczyho, Štefan Petróczy, sa aktívne zúčastnil Vesselényho povstaní. Panovník vyslal na Košecu generála Heistera, ktorý mal rozkaz Petróczyho zajať a uväzniť. Avšak Petróczymu sa podarilo z hradu ujsť a skryť sa na hrade Likava. Cisársky generál hrad obsadil (1670) a zrútil. Hradný majetok prešiel na lippayovskú rodiny, po vymretí zdedili majetok Illésházyovci a Motešickovci. Títo na hrade už nebývali. Roku 1830 Illésházy prepustil svoju časť košeckého panstva Jozefovi Motešickému. Od Motešických kúpil panstvo bankár Schenk. Nové panstvo však bývalo v pohodlnejšom kaštieli v obci Ladce.