A XVIII. század elejétől Keszeg község földesura a Huszár család volt. Kastélyukat Huszár József építette 1749-ben, majd Huszár Károly az 1870-es években udvari szárnnyal bővíttette az épületet.

A T-alaprajzú, késő barokk épület középrizalitos homlokzattal és nyereg- és manzárdtetővel rendelkezik. A tetőzeten copf vázák láthatók, amelyekből mára csak néhány maradt meg. A kastély mögött elterülő kertben egykor hatalmas fák álltak, közepén ma orosz katonai temető található.

A kastély egykor gazdag berendezéssel büszkélkedhetett. A festmények között megtalálható volt egy korabeli Rákóczi-ábrázolás, valószínűleg Mányoki Ádám munkája, Philips Wouwerman, Rembrandt tanítványainak alkotásai. Értékes volt még a családi levéltár, illetve a 2000 kötetes könyvtár is.

A kastély falai között megfordult az idők során Deák Ferenc, Madách Imre és Apponyi Albert is.

1926-tól a Purgly család tulajdonába került a birtok, amit Purgly Emil,a Károlyi-kormány földművelésügyi minisztere fiaival igazgatott.