Pôvodne barokový charakter kaštieľa sa v dôsledku častých opráv čiastočne stratil. Dvojpodlažná budova s akcentovaným stredným rizalitom hlavného schodišťa. Na prízemí možno vidieť zachované barokové klenby a drevenú vyrezávanú výzdobu. Okolitý park s rozlohou 8,2 ha a obsahuje 16 taxónov drevin, medzi ktorými je aj niekoľko vzácnych cudzokrajných stromov.
V kaštieli je v súčasnosti gymnázium.
Keď v roku 1682 turecko-kurucké vojská zničili hrad aj mesto, kapitán Fiľakovského hradu Štefan Koháry II. dal po návrate zo zajatia znovupostaviť katolícky kostol a vybudoval aj kaštieľ.
Za povšimnutie stoja vynikajúce štukové pruské klenby a priestranná pivnica s lunetovou klenbou.
V súčasnosti je stavba v dosť biednom stave.
Jednopodlažná budova. Na užšej strane fasád má netradične situovaný portikus a pilierovú arkádu.
V súčasnosti je v objekte poliklinika.