A Szapáry család valószínűleg 1758-1768 között építtette az eredetileg barokk stílusú kastélyt. Az 1820-as évek elején felújították, klasszicista stílusúra alakították, később eklektikus stílusúra formálták. Az 1830-as években egy házasság révén került az Andrássy család birtokába a kastély, amit ettől kezdve Szapáry–Andrássy-kastély néven emlegettek.

Az épület főbejárata feletti kovácsoltvas korlátos erkélyt négy pár oszlop tartja, az erkély felett előreugró timpanon díszeleg. A több nagyobb helyiségből álló kastélyban a XIX. század végéről származó freskók nyomaira bukkantak, amelyeket valamikor a XX. században festettek le.

A műemléki védelmet élvező kastélyt egykor hatalmas park vette körül, ma egy nagyjából 5,6 hektáros zöldterület tartozik hozzá. A parkban számos érdekességet találunk, a ritka növények mellett a kert kiemelt értéke a kastély mögött gyökeret vert, több száz éves platánfa, amely 2010-ben az Év fája díjat is kiérdemelte. A gigantikus platán-matuzsálem törzsének körmérete eléri a 615 centimétert, magassága a 20 métert, koronájának az átmérője pedig a 36 métert.

A parkban áll az 1894-ben emelt Kossuth emlékoszlop, emellett itt kapott helyet a városi könyvtár Makovecz Imre által tervezett különleges, tizenkétszög alaprajzú impozáns épülete is. A parkban láthatjuk Ivan Cikac és Josip Cikac horvátországi fafaragók három szobrát is, az Anya gyermekével, A tanító és az Olvasó nő elnevezésű alkotásokat.

A letenyei kastélyban jelenleg a Fáklya Művelődési Ház működik. A földszinten 3 teremből álló múzeum, az emeleten városi mozi kapott helyet.

A park mára a város kedvelt pihenőparkjává vált, az épületek rendeltetése alapján pedig Letenye kulturális központja is itt alakult ki. A kastély ősparkjában feltörő termálvíz hasznosítására termálfürdő épült a 2000-es évek elején.