Fue construido en el siglo X (durante el Califato de Abderramán III), es un claro ejemplo de arquitectura militar musulmana en al-Ándalus. Posteriormente sufrió varias remoderaciones, la última en 1512 para la cual la reina Juana I de Castilla mandó que se pagasen los gastos. Tiene planta rectangular con 59 m de norte a sur y 51 m de este a oeste. Su primitivo nombre, Bury al-Hans (Torre de la Serpiente) y el hecho de que tuviera siete torres dieron lugar al topónimo actual de la Ciudad y a su escudo de armas. De estas siete torres, quedan sólo tres en pie, la de la Mazmorra, la del Malvavisco y la de las Palomas.
En 1963, el Ministerio de Cultura lo declara Monumento Histórico Artístico. Actualmente su patio de armas se usa como espacio cultural y se encuentra en un proceso de catalogación, restauración y reconstrucción, destacando el Festival de Teatro, Música y Danza (Noches en la Alcazaba) y la Cena Andalusí durante los meses de verano.