باغ کلاه فرنگی یزد مربوط به دوره قاجار است که در محله رحمت آباد قرار دارد. این عمارت را در زمان جنگ جهانی دوم به روایت آقای حسن دشتی مالک فعلی آن، زردشتیان یزد خریداری می کنند و تا مدتها در اختیار آنان بوده است و بعد ها قبل از انقلاب آقای حسن دشتی که از اهالی محله رحمت آباد بوده از زردشتیان می خرد.
این عمارت در دو طبقه بوده و زیر زمینی هم نداشته است و آب جوی رحمت آباد از زیر آن رد می شده و به حوض وسط آن می ریخته است . این عمارت سالها قبل توسط رشتی ها در این منطقه شبیه ساختمان کلاه فرنگی رشت یا تبریز ساخته شد . در تالار قسمت پایین محل خوبی برای پذیرایی از مهمانان وجود داشته است و در طبقه دوم اتاقهایی ساخته شده بوده است و این عمارت شبیه کلاه فرنگی بوده است .
در گذشته این باغ درختان خرمالو، انار، توت و انجیر زیادی داشته که در حال حاضر فقط درختان انار آن حاصل دارند . این عمارت که اکنون جز دیوار باغ و مطبخ و چند اتاق در ورودی آن و یک حوض که در وسط تالار بوده چیزی از آن باقی نمانده در اوایل انقلاب به علت بارش شدید باران و کم توجهی ویران می شود . اکنون عمارت آجری زیبایی در کنار آن، در باغ ساخته شده است .
