ساخت این عمارت در سال 1319 به دستور رضاشاه آغاز گردید و به دلیل تبعید وی درسال 1320 به صورت نیمه کاره رها شد، حدودا در سال‌های 1342 تا 1343 بازسازی و مرمت شد و سرانجام در سال 1346 رسما به عنوان وزارت دربار مورد استفاده قرار گرفت.
در سال 1357 پس از انقلاب اسلامی، طبقه همکف آن به عنوان اداره کل موزه‌های کشور و طبقه دوم و سوم به منظور موزه آماده‌سازی شد و در سال 1364 جهت بازدید عموم رسما افتتاح شد.
طبقه همکف به 19 اثر از آثار نقاشان معاصر ایرانی اختصاص دارد، نقاشان بنام و هنرمندی چون: سهراب سپهری، حسین محجوبی، فرامرز پیلارام، حسین زنده‌رودی، پروانه اعتمادی، نصرالله افجه‌ای و...
در طبقه اول موزه هنرهای زیبا، نقاشی‌های اروپایی، آثار هنرمندانی چون: سالوادور دالی، جان فردریک هرینگ، پیتر گراهام، ایوان شیشکین، فرانسوا موزن و ژول برتون به نمایش گذاشته شده‌اند.
طبقه دوم موزه به نقاشی‌های هنرمندان ایرانی از دوره صفویه تا قاجار اختصاص دارد که مضمون این آثار اغلب تصاویر پادشاهان، امرا و صاحب منصبان آن زمان است.
طبقه دوم موزهٔ هنرهای زیبا به نقاشی‌های هنرمندان ایرانی دوره صفویه تا قاجار اختصاص دارد. این نقاشی‌ها، اغلب تصویر پادشاهان، زنان و مردان درباری، امرا و صاحب منصبان آن زمان است.
اکثر تابلوها بدون امضا هستند و فقط یک تابلو از دورهٔ صفوی با عنوان مجلس شیرین و فرهاد (رقم محمد زمان) را بر خود دارد که در مخزن موزه نگهداری می‌شود. در این موزه ۸ اثر نفیس از هنرمند پرآوازه، کمال الملک ارائه شده که در سلامت و پختگی رنگ و دقت در ساختمان کم‌نظیر است.
پنج تابلوی رنگ روغن بر روی بوم در این موزه قابل تامل است که افرادی را با چهره‌هایی اروپائی در لباس‌های ایرانی به حالت ایستاده نشان می‌دهد که متأسفانه فاقد نام نقاش می‌باشند.
در میان تابلوهای طبقه دوم تابلوی بزرگی جلب توجه می‌کند که نادر شاه را در حال تاج گذاردن بر سر محمد شاه گورکانی (پادشاه هند) نشان می‌دهد، که عنوان آن تاج بخشی نادر شاه است و رقم (ابوالحسن) را بر خود دارد و سی سال پس از قتل نادر کشیده شده‌است.
درطبقه دوم موزه آثاری مربوط به دورهٔ زندیه وجود دارد که تصویری از علی بن ابی‌طالب و حسنین ر ا نشان می‌دهد که نمایانگرعقاید مذهبی این دوره می‌باشد.
از جمله تابلوهای نفیس طبقه دوم موزه که به دوره قاجار برمی‌گردد، تصویری است تمام قد از فتحعلیشاه قاجار که به گفته رابینسون منتقد هنری، از با ارزش‌ترین تابلوهای رنگ روغن در میان نقاشی‌های ایرانی است. این تصویر از نقاش هنرمندی است به نام مهر علی که آن را در سال ۱۲۲۸ ه.ق خلق کرده است.
دیگر آثار ارائه شده را می‌توان به ترتیب از تصاویر رقاصان و نوازندگان درباری اثر ابوالقاسم و شیرین نگار، چهره‌هایی از علما و عرفاً، شعرا و فلاسفه ایرانی اثر رجبعلی نقاش دورهٔ محمد شاه نام برد.
{tortags,721,3}