سازنده عمارت فعلي باغ با 17000 متر مربع زيربنا ، ميرزا علي محمدخان قوام الملك دوم مي باشد كه در سال 284 ه.ق آن را احداث نموده و قنات "ليمك" را كه در 15 كيلومتري باغ و در محل قصر قمشه بود براي مشروب نمودن باغ خريداري كرد . اين باغ سرانجام به يكي از وارثين قوام به نام عفيفه رسيد و بدين نام نيز شهرت يافت .
درب ورودي باغ در شمال آن قرار دارد سه در باغ داراي چهار ستون گچي ساده است كه دو به دو در دو سوي آن و بر فراز ازاره آن قرار گرفته است . در پيشاني درب ورودي نقش دو شير كه گويي را در ميان پنجه هاي خود گرفته اند ديده مي شود . پس از گذر از در ، دهليزي وجود دارد كه سقف آن را از چوب ساخته اند و با شكل هاي منظم هندسي مرتب كرده اند . در ديگر سوي در و بر پيشاني دهليز مجلس تاج گذاري پادشاه ساساني وجود دارد كه بر قاب نيم دايره اي به وسيله كاشي هاي رنگارنگ قرار دارد . پس از گذر از دالان كوتاهي به محوطه وسيعي مي رسيم كه عمارت اصلي در آن قسمت است . ساختمان در وسط باغ قرار گرفته است و از بناي دو طبقه تشكيل شده است .
طبقه اول زيرزمين وسيعي است كه آب نماي زيبايي در آن ساخته شده و سمت شرقي آن با پنجره هاي مشبك و رنگيني پوشيده شده است . در فواصل ميان پنجره ها سنگ هاي گندمك نصب شده كه روي آنها نقوشي از گل و بوته حجاري شده است .
طبقه دوم كه در واقع طبقه همكف ساختمان است ، تالار مجللي است كه اطراف آن را ايوان فرا گرفته است . در پيشاني عمارت صحنه اي از تاجگذاري يكي از پادشاهان ساساني با كاشي تصوير شده است كه موبدي تاج سلطنتي را به وي هديه مي دهد .
در جلو ايوان بزرگ عمارت نيز چهار ستون بلند ساخته شده است . سقف ايوان با قطعات چوبي پوشيده شده است و روي آنها با رنگ و روغن نقاشي شده . سر ستون هاي ايوان گچ بري شده اند و در بالاي آنها گل ها به تقليد از نقوش تخت جمشيد گچ بري شده است .
ديوار اتاق هاي تالار اصلي نيز همگي گچ بري و مقرنس كاري شده و با نقش هاي گل و بته و صحنه شكار و مجالس بزم و رزم مزين شده اند . در دو طبقه ساختمان حدود 30 اتاق تالار وجود دارد ، تمامي اتاق ها داراي سقف و درب هاي چوبي تزيين شده هستند .
در شمال و جنوب تالار دو بخاري از سنگ مرمر تراشيده و نصب شده است . ورودي اصلي بنا در جانب شمال است كه با كمك پلكان سنگي به سرپوشيده اي منتهي مي گردد . نماي شرقي عمارت شامل ايوان بزرگ و زيباست كه در تمام طول بنا امتداد دارد .
اين نما از بيرون به وسيله ستون هاي آجري و گچي از هم مجزا شده اند . نماي غربي عمارت نسبت به قرينه آن در شرق بسيار ساده است . ايوان جنوبي نيز از نظر تزيينات بنا و دكوراسيون ، تقريبا" شبيه ايوان شمالي است بجز اين كه در رشته پلكان شرقي - غربي حياط را به طبقه دوم منتقل مي كند .