André kocht in 1849 voor zijn jongste zoon Albéric een eigen jachtgebied in Moergestel, waardoor deze Heer van Moergestel werd. Als woning kocht André in 1852 dit kasteel. Alberic woonde hier met zijn huishoudster en levensgezel ‘juffrouw Koosje’ tot 1890, toen broer Louis stierf en zij samen terug naar kasteel Heeswijk gingen. Ze trouwden vlak voor zijn dood.