Kaštieľ má obdĺžnikový pôdorys, z ktorého hmoty vystupujú v strede pozdĺžnych strán portiky. Kaštieľ má tri podlažia, spodné je polozapustené zo strany záhrady a označované ako I. PP, vyššie podlažia sú nadzemné. V archívnom fonde rodu Brunsvik – Chotek sa zachovalo množstvo materiálu týkajúceho sa výstavby i prestavieb kaštieľa, avšak doteraz nebolo úplne jasné, ktoré z plánov na papieri boli skutočne a ako uplatnené pri samotnej stavbe.
Na stavbu kaštieľa si stavebník A. Brunsvik najal architekta Johanna Baptistu Martinelliho a riešenie projektu sa realizovalo od začiatku roka 1749, práce sa ukočili v roku 1754. Výsledkom stavebných aktivít bola bloková dvojpodlažná nepodpivničená stavba typu maison de plaisance. Centrom bola vyvýšená sála a po jej bokoch symetricky obytné priestory. Sálu opatrili freskou s iluzívnymi výjavmi. V strednej časti prízemia sa nachádzala sala terrena, ktorá mohla byť čiastočne zapustená v teréne a prístupná zo záhrady. Z tejto stavebnej etapy sa zachovala základná dispozícia strednej časti kaštieľa. Po kaplnke, spomínanej v archívnych dokumentoch, sa nezachovali žiadne stopy a nedokážeme jej polohu identifikovať.
Syn grófa Antona Brunsvika Jozef študoval právo a získal vysoké funkcie v rôznych krajinských úradoch a stal sa aj najvyšším krajinským sudcom. Jeho postavenie a finančné zabezpečenie mu umožnilo pristúpiť k rozsiahlejšej prestavbe kaštieľa. Prioritným motívom bolo zrejme rozšírenie jeho kapacity, keďže pôvodný objekt bol pomerne malý. V rokoch 1793 – 1798 došlo k druhej stavebnej etape, ktorá znamenala rozšírenie objektu o bočné rizality. Architektom bol Ján Jozef Talherr (resp. Thalherr, 1737 – 1807), architekt Uhorskej kráľovskej komory. Projekt vypracoval v roku 1792, časť z neho je zachovaná. V roku 1794 ale doplnil Talherr projekt o ďalšie rozšírenie kaštieľa smerom do strán prostredníctvom ďalších, užších krídel. K ich stavbe ale nedošlo. Napriek tomu vtedy museli zmeniť dispozíciu pôvodného projektu, keďže v rizalitoch vytvorili stredovú zalamovanú chodbu. V južnom rizalite vytvorili druhé schodisko a kaplnku, čím staršiu kaplnku zrušili. Nová kaplnka bola cez dve podlažia, pričom mala vstup na spodnom podlaží, kde bola dlhšia – aj o šírku dnešnej chodby. Na hornom podlaží mala oratórium – emporu na valenej klenbe, kde sedávala grófska rodina. Steny mali biely náter, dobu vzniku fresky na strope nepoznáme. Fasády mali na obidvoch podlažiach pásovú rustiku, doplnenú na hornom podlaží pilastrami s kamennými hlavicami. V tomto období vznikali v areáli kaštieľa ďalšie objekty. Divadlo postavili ako jeden objekt s múzeom rarít a od kaštieľa ich delila pozdĺžna budova knižnice. Tento objekt patril v rámci celého areálu k architektonicky najzaujímavejším. Presnejší letopočet výstavby nepoznáme, predpokladá sa obdobie na prelome 18./ 19. storočia.
Priebežne od ukončenia prestavby kaštieľa prebiehali práce na objektoch v areáli. Už v tomto období existoval pri kaštieli park, kde cielene vysádzali rôznorodé stromy, v roku 1808 postavili dokonca oranžériu. Veľmi krátko po druhej stavebnej fáze dochádza k rozhodnutiu Jozefa Brunsvika opäť investovať do rodinného sídla a zásadne ho zväčšiť. Brunsvik vzhľadom na svoje postavenie si mohol dovoliť pozvať na realizáciu svojich plánov viacerých chýrnych architektov. A tak sa do Krupej 31. októbra 1812 dostáva nemecký záhradný architekt Heinrich Christian Nebbien a v nasledujúcom roku začal práce na tvorbe anglického parku. K podobe parku sa v roku 1813 vyjadril aj architekt Charles Morreau a zase naopak – Nebbien sa vyjadroval k plánom kaštieľa, ktoré vypracoval Morreau. Okrem nich sa tu v roku 1813 objavuje Michael Pollack, rakúsky architekt tvoriaci plne v duchu klasicizmu. Podľa najnovších poznatkov bol práve Charles Morreau architektom, ktorému môžeme pripisovať autorstvo. Doteraz uvádzaný Antonius Pius von Rigel bol staviteľom a autorom niektorých čiastkových prvkov. Charles Moreau patril v tej dobe k najlepším architektom, pochádzal z Francúzska. Svoj podiel na konečnom výzore kaštieľa ale má aj Rigel, ktorý je autorom krovovej konštrukcie. Dokonca v roku 1926 prezentoval svoju vlastnú konštrukciu tohto krovu v podobe samostatnej publikácie Beschreibung und Abbildung eines neu-erfundenen Spar-Dachstuhles. Jeho „úsporný“ krov uviedli viaceré periodiká ako novinku v podobe novej konštrukcie, odlišnej od tradičných, ktorá potrebuje len jednu desatinu doterajšieho množstva dreva. Krov má stojatú stolicu s valbovými strechami a pozdĺž krovu bol vložený žľab. Nevyužíval len trámy, ale aj dosky.
Výsledkom rozsiahlej prestavby kaštieľa bola nadstavba o celé jedno podlažie a doplnenie portikov. Spodné podlažie – pôvodne prízemie – sa stalo I. PP, keďže došlo k navýšeniu terénu. Zo strany ulice ostal zachovaný úzky tzv. anglický dvor popri fasáde spodného podlažia. S nadstavbou začali v roku 1821. Na poschodie chceli presťahovať obytné priestory a I. NP malo mať spoločenskú funkciu. Dispozícia II. NP kopírovala v základe spodné podlažie. Miestnosti mali svetlozelený náter a chodba svetlookrový s bielymi stropmi. Na fasádach kamenné hlavice aj rustika I. NP z predchádzajúcej stavebnej etapy boli zrušené, fasáda sa oplentovala a vznikla súčasná fasáda, ktorá mala spodné podlažie s pásovou rustikou, prechádzajúcou aj na bočné steny schodiska do záhrady. Horné podlažia boli hladké. Náter bol biely.
Po smrti Jozefa Brunsvika a manželky Márie Anny zdedila panstvo ich dcéra Henrieta a jej manžel Herman Chotek. Postupnou výstavbou vznikol rozsiahly areál, ktorý tvorili objekty po stranách kaštieľa – na severozápadnej strane divadlo a skleník, objekt na ubytovanie hostí, hospodárske objekty a na opačnej strane opäť hospodárske objekty s vrátnicou, dom záhradníka (dnes Beethovenov dom), skleník (už 1808), dom správcu.
Na začiatku 20. storočia vymenili niektoré okenné a vstupné výplne, došlo k základnej údžbe kaštieľa, v rámci stavebných zásahov sa nezachytili žiadne zmeny. Od roku 1953 sídlil v kaštieli psychiatrický ústav. V roku 1955 došlo k niekoľkým stavebným úpravám.
Už v roku 1970 sa vypracoval projekt na obnovu kaštieľa, obnova bola zdĺhavá kvôli viacerým problémom – finančným aj materiálovým. Až v apríli 1978 sa slávnostne prístupnil ako Dom slovenských skladateľov. Horné podlažie sa popredeľovalo na viaceré ubytovanie jednotky aa v suteréne vytvorili viaceré skladovacie a pomocné priestory.