اطراف آن بیابان و رودخانه و سنگلاخ بوده، با گسترش شهرنشینی در جبهه غربی، به تدریج این باغ در داخل بافت شهری قرار گرفته. در حال حاضر در انتهای خیابان ارم و در تقاطع بلوار شرقی ـ غربی و بلوار شمالی ـ جنوبی جام جم و آسیاب سه تایی، باغ ارم قرار گرفته است. این باغ به مناسبت عمارت و باغ بزرگی که در گذشته توسط شداد بن عاد پادشاه عربستان جنوبی به رقابت با بهشت ساخته شده، به باغ ارم مشهور گردیده است.
تاریخ ساخت این باغ را به دوره سلجوقیان نسبت دادهاند چرا که در آن زمان، باغ تخت و چند باغ دیگر توسط اتابک قراجه حکمران فارس ـ که از سوی سنجر شاه سلجوقی به حکومت فارس منصوب شده بود، احداث شد و احتمال میرود ایجاد این باغ به درخواست وی و در آن زمان بوده است.
در اواخر سلسلة زندیه، بیش از 75 سال این باغ در تصاحب سران ایل قشقایی بود، بنای اولیة عمارت باغ ارم توسط جانی خان قشقایی اولین ایلخان قشقایی و پسرش محمدقلی خان و در زمان فتحعلیشاه قاجار احداث شده است. معماری بنا نیز توسط شخصی به نام حاج محمد حسن که از معماران معروف بود، صورت گرفته است.
در زمان ناصرالدین شاه قاجار، میرزا حسن علی خان نصیرالملک، آن باغ را خریداری و عمارت فعلی موجود در باغ را به جای عمارت ایلخانی بنا نمود، اما تزئینات ناتمام باغ پس از فوت حسنعلی خان در سال 1311 توسط ابوالقاسم خان نصیرالملک پایان یافت.
باغ ارم پس از فوت ابوالقاسم خان نصیرالملک به پسرش عبدالله قوامی رسید و بعد از مدتی دوباره یکی از خوانین ایل قشقایی به نام محمد ناصر خان آن را خرید. سپس به مالکیت دولت درآمده و به دانشگاه شیراز واگذار شد. در سالهای 50-1345 هـ . ش این باغ زیر نظر مسؤولین دانشگاه شیراز تعمیر شده و زمین وسیعی نیز در حاشیه بلوار ارم و بلوار آسیاب سه‌تایی به آن افزوده شد و در سال 1353 به شماره 1013 در فهرست آثار ملی به ثبت رسید و در سال 1358 به وسیله سازمان میراث فرهنگی مرمت گردید.
هم اکنون این باغ به عنوان باغ گیاهشناسی مورد استفاده قرار گرفته و در اختیار دانشگاه شیراز می‌باشد. در سه دهه پیش قسمتهایی در سمت غربی باغ ازجمله اراضی دهی موسوم به «کوشک» به مساحت باغ افزوده شده است. در این زمان مساحت کل باغ ارم نزدیک 110380 متر مربع است.
زمین باغ بشکل مربع مستطیل بسیار وسیعی است که جهت شیب آن از غرب به سوی شرق است و مجموعه عمارت اصلی و اندرون در قسمت مغرب و در بلندی چشم‌گیری قراردارد. به سبب شیب زیاد زمین در قسمتهایی از خیابانهای اصلی و دیگر خیابانهای باغ پله‌هایی ایجاد نموده‌اند و این پستی و بلندی زمین بر زیبایی فضای باغ بسی افزوده است.
امروزه، کوشک اصلی، هستة مرکزی باغ و متشکل از سه طبقه است که در پیشانی عمارت، هلالی هایی وجود دارد که معروف به سنتوری است و دارای سه مجلس بزرگ و دو مجلس کوچک کاشیکاری با کاشی های لعابدار رنگی است. به روی این هلالیها تصاویری از ناصرالدین شاه قاجار، داستانهایی از فردوسی و نظامی و ادبیات کهن فارسی و قصه‌های مذهبی کاشیکاری شده است. طبقة زیرین دارای حوض خانهای برای استراحت در روزهای گرم تابستان است. نهر آب مستقیماً از این تالار می‌گذرد و در سر راه خود قبل از اینکه به حوض بزرگی فرو ریزد استخر را پر می‌کند.
در جلوی عمارت اصلی که مشرف بر باغ است، استخر بزرگی است که تصویر عمارت در آن نمایان می‌شود. مساحت این استخر سیصد و سی و پنج متر مربع است و محیط آن را هجده قطعه سنگ بزرگ و یکپارچه تشکیل می‌دهد.
آب روان و زلالی که از نهر اعظم است پس از گردش در حوضچة حوضخانه وارد جویهای اطراف استخر می‌شود و سپس در جوی عریض خیابان اصلی و جویبارهای دیگر در خیابانهای باغ و اطراف باغچه‌ها روان می‌گردد. قسمت عمدة آبی که این باغ را مشروب می‌سازد مانند بیشتر باغهای شیراز از نهر اعظم است. این نهر به جدول‌های متعدد تقسیم می‌گردد، از آن جمله جدول میری می‌باشد که یک پنجم از نهر اعظم است. باغ ارم از جدول میری مشروب می‌گردد.
علاوه براین، دو حلقه چاه عمیق در باغ حفر گردیده که آب مورد نیاز بوسیلة پمپ تأمین شده و با استفاده از لوله کشی به مصرف آبیاری گلهای باغ می‌رسد. از آب لولهکشی شهر نیز برای آشامیدن و مصارف عمارات استفاده می‌گردد.
پوشش گیاهی باغ را می‌توان به 2 دسته درختان غیر مثمر و درختان مثمر تقسیم کرد:
1. درختان غیر مثمر باغ عبارتند از: سرو ناز (بلندترین سروناز این باغ که قریب 35 متر بلندی آن است، بلندترین سروناز شیراز است)، کاج، افرا، ارغوان، بید مجنون، سیاه بید، زبان گنجشک، بید مشک، سپیدار، و اکالیپتوس.
2. درختان مثمر باغ عبارتند از: انار، ازگیل، نارنج، خرمالو، گردو، زردآلو، بادام، سیب، به و گلابی. محصول اصلی درختان میوه‌دار باغ در درجة اول انار است و در درجة دوم می‌توان مرکبات را به حساب آورد. درختان مرکبات باغ ارم در ردیف سایر نارنجستانها و باغهای مرکبات شیراز است.