Szigetének ékessége egy különleges kerti építmény: a németalföldi stílusban épült vöröstéglás Hollandi-ház, melynek földszintes részén tehénistálló volt, míg emeletes részén az egyik tüdőbeteg grófné szanatóriumként szolgáló lakosztálya kapott helyet. A kastélyhoz sok legenda fűződik, a magyarországi szabadkőművesség titkos központjaként emlegetik.

A kastély 1810 és 1815 között, az ország „leggazdagabb köznemese", Festetics Antal (1764-1853) császári és királyi kamarás megbízásából épült, aki a tervezéssel az általa már korábban is foglalkoztatott neves építészt, a magyar klasszicista építészet kiemelkedő képviselőjét bízta meg.  A kastély park felőli homlokzata a Magyar Nemzeti Múzeum épületére emlékeztet - nem véletlenül, hiszen mindkét épület tervezője Pollack Mihály (1773-1855) volt. A múzeum történelmi nevezetességű lépcsőjével ellentétben azonban Dégen nem lépcső, hanem kavicsos rámpa vezet a parkba. Rendhagyó építészeti megoldások közé tartozik az is, hogy az ovális dísztermet nem az épület központi részén, hanem sarokszobájában alakították ki. Ezzel átellenben pedig a szintén ovális alaprajzú, ám intim méretű grófnői fürdőszoba bújik meg.

Az 1920-as években Festetics Sándor átalakíttatta, korszerűsítette a kastélyt: ekkor született a belső terek ma látható, a klasszicizmus formavilágát követő dekorációja.

A park tavának szigetén álló, festői megjelenésű épületet 1891-ben, egy korábbi épület helyén emelték a Hollandi házat. Földszintes része tehénistállóként szolgált (az itt lakó és a szigeten legelésző hat tarka tehén a park fontos látványelemének számított), emeletes részében pedig a tüdőbeteg Festetics Andorné gyógyítására berendezett lakosztály kapott helyet, mivel az ammónia tartalmú istálló levegőjét és a frissen fejt tejet gyógyító hatásúnak tartották. A szigetet eredetileg dróton áthúzható csónakon lehetett csak megközelíteni a kastély felől, a mai híd később épült.