مهندس مهدی بازرگان از جمله افرادی است که در این دژ، زندانی بوده است. این بنا سال 1377 با پیگیریهای مکرر مدیریت میراث فرهنگی بوشهر به دلیل اهمیت و ارزش آن تخلیه شد و در جهت کاربری فرهنگی و هنری این اثر تاریخی مرمتهای لازم روی آن صورت گرفت این کاروانسرا ویژگی های منحصر به فردی دارد و به همین جهت به عنوان یک اثر ملی به ثبت رسیده است.این بنای معتبر و مستحکم که از ابینه باشکوه دوره قاجاریه به شمار میرود و در سال 1288 قمری مطابق با سال 1250 شمسی بنا به دستور یکی از نیکوکاران شیراز به نام حاج میرزا ابوالحسن خان