معمار این ساختمان حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی است که به طرز ماهرانه‌ای اقدام به ساخت این بنا به سبک معماری زندیه کرده است.
عمده مصالح تشکیل دهنده این کاروانسرا سنگ، گچ و ساروج است و در کف آن از تخته سنگ‌های بزرگ تراشیده شده، استفاده شده است.
بام کاروانسرای مشیرالملک نیز با سنگ پهن تراشیده شده مفروش شده بود که به هنگام بارندگی آب باران بوسیله ناودان‌های سنگی که به طرز جالبی تعبیه شده بودند به بیرون از کاروانسرا هدایت می‌شد.
در دیوار ضلع غربی کاروانسرا درب ورودی بسیار بزرگی از جنس چوب قرار دارد که راه ورودی اصلی به حیاط کاروانسرا بوده است.
در همین ضلع طبقه دوم کاروانسرا وجود دارد که به شاه‌نشین معروف است. در جلوی شاه‌نشین یک تراس نسبتاً وسیع رو به خارج وجود دارد.
در دو طرف این شاه‌نشین راه پله هایی وجود دارد که پشت بام کاروانسرا را به محوطه دیگری که اندرون کاروانسرا و مخصوص زنان و کودکان بوده است وصل می‌شود.
این بنا مثل سایر کاروانسرا‌های دیگر دارای 4 برج مرتفع است. مساحت کل بنا 7000 متر مربع با زیر بنایی در حدود 4200 متر مربع می‌باشد.
کاروانسرای مشیرالملک مجموعاً دارای 68 باب اتاق و حجره بوده که به دلیل تغییر کاربری آن در دوره‌های بعدی تعداد اتاق‌ها کم یا زیاد شده‌اند.
از این بنا تا سال 1300 شمسی به عنوان کاروانسرا استفاده می‌شد که به دلیل واقع شدن شهر برازجان بر سر راه تجارتی شیراز به بوشهر مکانی مناسب جهت استراحت کاروانیان بوده است.
از سال 1300 شمسی که قشون نظامی به برازجان وارد شد این کاروانسرا محل مناسبی برای استقرار نظامیان شناخته شد.
از سال 1335 با تغییرات و تعمیراتی، این بنا در اختیار شهربانی قرار گرفت که از آن به عنوان زندان استفاده می‌شد. به همین دلیل به دژ برازجان معروف شد.
این بنا سال 1377 با پیگیری‌های مکرر مدیریت میراث فرهنگی بوشهر به دلیل اهمیت و ارزش آن تخلیه شد و در جهت کاربری فرهنگی و هنری این اثر تاریخی مرمت‌های لازم روی آن صورت گرفت.
کاروانسرای مشیرالملک در سال 1362 به شماره 1638 در فهرست آثار ملی کشور به ثبت رسید.