در شمال غربي شيراز و در انتهاي خيابان ارم و در تقاطع بلوار شرقي - غربي باغ ارم و بلوار شمالي - جنوبي جام جم و آسياب سه تايي ، باغ ارم قرار گرفته است . اين باغ به مناسبت عمارت و باغ بزرگي كه در گذشته توسط شداد بن عاد پادشاه عربستان به رقابت با بهشت ساخته شده و ارم ناميده شده بود ، به باغ ارم مشهور گرديده است .
تاريخ ساخت اين باغ را به دروه سلجوقيان نسبت داده اند چرا كه در آن زمان ، باغ تخت و چند باغ ديگر توسط اتابك قراجه حكمران فارس كه از سوي سنجر شاه سلجوقي به حكومت فارس منصوب شده بود ، احداث شد و احتمال ايجاد اين باغ به درخواست وي و در آن زمان ، زياد است . همچنين احتمال مي رود كه اين باغ در زمان كريم خان زند مرمت شده باشد .
در اواخر سلسله زنديه ، بيش از 75 سال اين باغ در تصاحب سران ايل قشقايي بود ، بناي اوليه عمارت باغ ارم توسط جاني خان قشقايي اولين ايلخان قشقايي و پسرش محمدقلي خان و در زمان فتحعليشاه قاجار احداث شده است . معماري بنا نيز توسط شخصي به نام حاج محمدحسن كه از معماران معروف بود ، صورت گرفته است .
در زمان ناصرالدين شاه قاجار ، ميرزا حسن علي خان نصيرالملك ، آن باغ را از خاندان قشقايي خريد و ساختمان كنوني را به جاي عمارت قبلي ساخت ، اما تزئينات ناتمام باغ پس از فوت حسنعلي خان در سال 1311 توسط ابوالقاسم خان نصيرالملك پايان يافت .
باغ ارم پس از فوت ابوالقاسم خان نصيرالملك به پسرش عبدالله قوامي رسيد و بعد از مدتي دوباره يكي از خوانين ايل قشقايي به نام محمد ناصرخان آن را خريد .
عمارت اصلي باغ ارم طبق معماري دوره صفويه تا قاجاريه بنا شده است . اين ساختمان داراي سه طبقه است كه طبقه زيرين داراي حوض خانه اي براي استراحت در روزهاي گرم تابستان است كه در آن آب نماي زيبايي است و طاق آن با كاشي هاي هفت رنگ مزين شده است . جوي آبي نيز از وسط آن مي گذرد و سپس به آب نماي بزرگ جلوي عمارت مي ريزد .
طبقه دوم داراي ايواني دو ستوني با سقف مسطح است كه در پشت آن تالاري قرار دارد و دو طرف آن دو راهرو ، 4 اتاق در دو طرف راهرو و دو ايوان كوچك و دو طبقه ساخته شده است و بر فراز اين دو راهرو ، دو گوشواره به عنوان طبقه سوم وجود دارد .
قسمت جلويي ستون هاي اين دو طبقه با كاشي هاي هفت رنگ مزين به مجالسي از سواران ، زنان و گل ها شده است .
طبقه سوم ، داراي يك تالار بزرگ مانند تالار طبقه دوم است كه پنجره هاي آن به ايوان اصلي باز مي شود . در دو طرف آن نیز دو راهرو وجود دارد . دو ايوان كوچك نيز در هر طرف ايوان بزرگ همانند طبقه سوم قرار دارد .
در پيشاني عمارت ، هلالي هايي وجود دارد كه به سنتوري معروف است و داراي سه مجلس بزرگ و دو مجلس كوچك كاشيكاري با كاشي هاي لعابدار رنگي است .