Los musulmanes aprovecharon el núcleo hispanorromano anterior a su llegada para construir una alcazaba y una mezquita que quedaron rodeadas por una muralla que se adaptó a las peculiaridades del terreno y de la que aún se pueden ver algunos restos.

La Chinchilla musulmana era una villa murada con un castillo inexpugnable. En el recinto amurallado la puerta principal era la Puerta Herrada o de Las Torres; este recinto originario dejó huellas e influenció la obra posterior a la reconquista hasta el siglo XIV como galerías subterráneas para agua, pasadizos, pozos, torres albarranas.

El actual castillo data del siglo XV, construido por Don Juan Pacheco, marqués de Villena, que se encargó de reconstruir los deteriorados muros y torres de la fortaleza, dándole el aspecto actual. El castillo está organizado en torno al patio de armas con una gran Torre del Homenaje, rematada por parapetos volados sobre matacanes. La fortaleza se rodeó por un profundo foso tallado en la roca, en el que se situaban torreones de planta circular con numerosas troneras.

Tras la Guerra del Marquesado, la fortaleza pasó definitivamente a la Corona, siendo uno de sus huéspedes más famosos Cesar Borgia, que estaba preso a España capturado por el Gran Capitán. Durante los siglos siguientes el castillo sufrió diferentes reformas y adaptaciones hasta que los franceses, en la Guerra de la Independencia, volaron la Torre del Homenaje.

En el XIX se readaptó y reformó y, en 1840, ya en poder del Ayuntamiento, se reutilizó como lazareto o custodia de presos hasta que fue cedido, a fines del XIX, al Estado, construyéndose sobre los restos de sus murallas el Penal de Chinchilla, que estuvo en funcionamiento hasta 1950.