A Luczenbacher család kastélyáról keveset tudunk. A helyén eredetileg egy Árpád-kori templom állt a XVIII. század elejéig, majd lakóépületek és az első szobi iskola épült meg itt. A család meggazdagodása után vásárolta meg a telket, és a XIX. század második felében ide építette földszintes kúriáját.

A kastély mai, klasszicista-neobarokk külsejét egy 1904 és 1907 között zajló átépítés során nyerte Alpár Ignác tervei alapján. A család csődbe jutása után a kastélyban lazarista rendház, majd nevelőotthon működött. Jelenleg a Szent László Gimnázium kollégiuma található itt.