قدیمی ترین سابقه تاریخی یک ساختمان در محل قلعه فعلی به سال 1391 می رسد. در آن سال خانواده De Haar قلعه و زمین های اطراف آن را به عنوان فرمانده از Hendrik van Woerden دریافت کرد. این قلعه در زمان مالکیت خانوادگی De Haar تا سال 1440 باقی مانده است، زمانی که آخرین وارث مرد بدون فرزند فوت کرد. سپس قلعه به خانواده ون زویلن منتقل شد. در سال 1482، قلعه سوزانده شد و دیوارها پاره شد، به جز قطعاتی که کار نظامی نداشتند. این قسمتها احتمالا در هنگام قدم زدن در اوایل قرن شانزده میلادی در قلعه قرار داشتند. قلعه در فهرست دارایی های استیون ون زویلن از سال 1506 ذکر شده است.