اما با روی کار آمدن حکومت رضا شاه، این زندان کفاف خیل عظیم زندانیان را نمی‌داد؛ لذا سرتیپ درگاهی، رئیس نظمیه تقاضای یک محل وسیع برای ایجاد زندان تهران را نمود. محلی که برای اینکار در نظر گرفته شد قصر قاجار (حدفاصل سه راه زندان، پل سیدخندان، خیابان شریعتی و خیابان پلیس فعلی) بود که دارای ساختمان‌های قدیمی و وسیع و متروکه بود.

سرانجام زندان قصر در سال ۱۳۰۸ به دست رضا شاه افتتاح گردید. فاز اولیه زندان شامل ۱۹۲ اتاق با گنجایش ۸۰۰ زندانی بود.
بعدها و تا زمان ساخت زندان اوین در دهه چهل، این زندان تنها زندان پایتخت بود. در این دوران زندان قصر توسعه زیادی پیدا کرد. پس از انقلاب اسلامی ایران این زندان محل حبس زندانیان غیر سیاسی بود.
در سال ۱۳۸۳ زندان قصر تعطیل وشهرداری شروع به تخریب بخشهایی از زندان نمود که با پیگیری کانون زندانیان سیاسی قبل از انقلاب با ثبت زندان به عنوان آثار ملی در سازمان میراث فرهنگی از تخریب آن جلوگیری شد.
نهایتاً در سال ۱۳۹۱ بوسیله شهرداری تهران به باغ موزه قصر تبدیل گردید و در تاریخ ۱۴ آبان ماه ۱۳۹۱ با حضور شهردار تهران و جمعی از هنرمندان برای بازدید عموم رسماً افتتاح گردید.
اولین زندانی زندان قصر، سازنده آن یعنی سرتیپ درگاهی بود. او تنها دو روز پس از همراهی رضا شاه در مراسم افتتاح زندان، در همان زندان محبوس گردید. قوام‌السلطنه، صارم‌الدوله، صولت‌الدوله، عبدالحسین تیمورتاش، بزرگ علوی و علیمردان خان بختیاری و پنجاه و سه نفر ومحمد فرخی یزدی و همچنین دکتر تقی ارانی برخی از زندانیان معروف این زندان هستند.

در پی اعتراضات مردمی به رژیم پهلوی نیز بسیاری از چهره‌های نام آشنای جمهوری اسلامی در سالهای انقلاب، در زندان قصر محبوس بوده‌اند. آیت الله طالقانی، مهدوی کنی، محمدتقی شریعتی (پدر دکتر علی شریعتی)، اکبر هاشمی رفسنجانی، سید علی خامنه‌ای، مرتضی مطهری، باهنر، محمدجواد تندگویان، احمد احمد، مرضیه دباغ و عزت شاهی از این چهره‌ها هستند.
از زندانیان معروف پس از انقلاب می‌توان به امیرعباس هویدا و اغلب اعدام شدگان رژیم پهلوی اشاره کرد. از دیگر زندانیان این زندان را می‌توان پری بلنده و سیدمهدی بلیغ و اصغر قاتل و منوچهر آزمون نام برد.
تا پیش از انقلاب اسلامی ایران، معروف‌ترین مورد فرار از زندان قصر، درزمان رضاشاه مربوط به سید فرهاد نامی از مخالفین رضا شاه بود، سید فرهاد از اهالی روستای سه (soh) از توابع نطنز بوده‌است که کتابی با عنوان سه مرد عجیب راجع به وی و دو نفر دیگر منتشر شده است.
و در زمان محمدرضاشاه نیز معروفترین فرار مربوط به اشرف دهقان از مبارزین مسلح می‌باشد که درنهایت اندکی پیش از وقوع انقلاب اسلامی ایران، درهای زندان قصر باز و دیوار آن توسط زندانیان تخریب شد که یکی از بزرگترین فرارهای تاریخ (از لحاظ تعداد نفرات)، در روز یکشنبه ۲۲ بهمن ۱۳۵۷ در میانه آشوب و به هم ریختگی ناشی از انقلاب، ۱۱۰۰۰ زندانی سیاسی و عادی و تعدادی اروپایی و آمریکایی از این زندان گریختند.
در پی حمله مردم و حامیان مسلح آیت‌الله خمینی به زندان، زندانبانان گریختند و راه برای آزادی محبوسین هموار شد. پس از فرار افراد دربند، تظاهرکنندگان به داخل زندان ریختند و وارد انبار مهمات شده و مقادیر زیادی سلاح به دست آوردند.