Het kasteel dat hier stond, erfde Elisabeth van haar moeder. Het was een grote burcht met donjon, kapel, drie molens en een dieventoren. In 1736 werd het inmiddels vervallen kasteel afgebroken. Op de nog zichtbare motte is op enkele resterende muurdelen rond 1840 de huidige boerderij Out-Herlaer gebouwd, sinds 2017 eigendom van Brabants Landschap.