این قلعه از بناهاى مربوط به دوره اشکانی و قبل از اسلام است و در دوران مظفریان تعمیراتى در آن صورت گرفت. اطراف آن خندقی بوده است و نقب‌های زیر آن گاهی تا یک فرسنگ امتداد دارد.
در محرم سال 744 جنگ سرنوشت سازی که باعث پیروزی آل مظفر بر چوپانیان گشت در این محل اتفاق افتاده است.
مساحت این قلعه 3 هکتار و بنا در 7 طبقه و داراى برج و بارو و دربندهاى متعدد است و بالاى تپه‌اى مسلط بر شهر میبد قرار دارد.
قطر پایین‌ترین حصار قلعه که قسمت بزرگى از آبادى میبد را دربر مى‌گرفت، 5 و در بعضى قسمت‌ها به 20 متر مى‌رسیده است.
نارنج قلعه 4 برج گرد بلند دارد و آنچه امروزه از آن باقی مانده قسمت مرکزی آن است و نشانه‌های از برج‌ها و باروها در روستای کوچک(کوشک) از آن باقی است.
کوشک یا کوچک نزدیک ترین روستا به دژ بوده است و بیشتر آن را باغ‌ها و قنات‌ها و آسیاب دربر می‌گرفته است.
زیباترین بادگیرها و خانه‌ها و کوچه‌های سابات‌دار بسیار قدیمی در جهان را در این محله زیبا می‌توان مشاهده کرد.
نارنج‌قلعه داراى اتاق‌هاى متعددى بوده است که در حال حاضر قسمت‌هایى از این اتاقک‌هاى کوچک تودرتو، موجود است و بسیارى از آنها نیز به علت قرار گرفتن در طبقات پایین و ریختن راهروها هنوز کشف نشده است.
بعضی‌ها نارین قلعه را همان دژ سفید شاهنامه می‌دانند. این قلعه بالای یک تپه و مسلط به اطراف ساخته شده و اطراف آن را هم خندق کنده‌اند.
یک روایت افسانه‌ای هم حکایت از آن دارد که قلعه در زمان کیومرث ساخته شده و اولین آدم‌ها از راه آب و دریا به آن پا گذاشته‌اند.
بعضی‌ها هم آن را ساخته سپهبد ساسانی- مهبد- می‌دانند. مهبد از سرداران قباد و انوشیروان بود. در نزدیکی‌های نارین قلعه میبد سفال‌های رنگی و نقش‌دار از دوران عیلامی به دست آمده که بیش از 4000 سال قدمت دارند و به خاطر همین قدمت زیاد ساختمان قلعه به زیگورات یا معابد عیلامی شبیه است.
از این قلعه که کاملا از خشت و گل ساخته شده است، در دوره‌های مختلف تاریخی به عنوان ارگ حکومتی یا دژ نظامی استفاده می‌شده. اوج اقتدار این قلعه در پیش از اسلام، مربوط به دوره ساسانیان و پس از آن مربوط به دوره آل مظفر است.
بعضی این کهن دژ را سرآغاز شروع آبادانی یزد می‌دانند. پیچ‌های تودر‌توی قلعه، کشمکش‌ها و جنگ‌های زیادی را به خود دیده است.
این قلعه، یک قلعه نظامی بوده ولی بعضی با توجه به شکل 5 طبقه آن احتمال می‌دهند که زیگورات بوده و از آن به عنوان معبد استفاده می‌کرده‌اند.