La figure imposante du donjon, ou de l’armurerie, est une partie substantielle du profil d’Alba de Tormes. Il est également un élément clé de la route urbaine qui permet un parcours suggestif à travers l’ensemble historique.

Son origine est incertaine. On pense d’abord qu’elle fut érigée comme simple tour de guet et tour de défense. Plus tard, au XVe siècle, commence sa véritable transformation de la main de D. GarcÍa Álvarez de Toledo, premier duc d’Alba et origine de cette lignée.

Le château devient sous le Grand-Duc d’Alba, Don Fernando Álvarez de Toledo, une forteresse palatiale qui accueille une illustre cour Renaissance. Il dispose de six tours décorées de marbres et de peintures murales comme celles conservées dans le donjon, des fresques montrant des passages de la bataille de Mühlberg, peintes par Cristóbal Passin et Miguel Ruíz de Carvajal.

Après la splendeur, le château a souffert des aléas du temps, des luttes et des affrontements, principalement de la Guerre d’Indépendance, qui ont considérablement réduit sa taille.

Aujourd’hui, après diverses interventions, on peut visiter la Tour principale qui accueille les peintures mentionnées, la Salle d’Interprétation et monter jusqu’au belvédère panoramique extérieur, qui permet une vue formidable de l’environnement. À l’extérieur, on peut se promener dans les ruines correspondant aux fouilles archéologiques commencées en 1991 qui ont permis de découvrir la splendeur du château, déclaré bien d’intérêt culturel.