Vanwege de zeer slechte staat werd kasteel Heeswijk na aankoop eerst grondig verbouwd. Andreas en zijn gezin betrokken daarom tijdelijk een herenhuis, het Slotje, dat ongeveer hier lag. Dit pand behoorde ook tot het landgoed. Daarna verhuurde Andreas dit aan Francis van der Leest. Van 1850 tot 1853 verbleef zijn oudste zoon Amedée hier met zijn gezin.