Declarado monumento Histórico-Artístico en 1931, está
emplazado en la zona más elevada del peñón, a 64 m sobre el nivel del mar, con un perímetro de 230 m.
El Castillo, construido por Los Templarios sobre restos de una
antigua alcazaba árabe, sufrió pequeñas reformas bajo el mandato del Papa Benedicto XIII transformándolo en palacio papal.
La fábrica de los muros es de piedra labrada y todas las
dependencias se cubren con bóvedas de cañón que arrancan de impostas muy simples formadas por un cordón moldurado.
Destaca en todo su conjunto la sobriedad y solidez de su
construcción tanto en las estancias templarias como en las estratégicas e intrincadas dependencias pontificias.
A pesar de las modificaciones introducidas por Felipe II para
artillar la fortaleza y de los bombardeos sufridos en las numerosas guerras y asedios no se ha visto sustancialmente alterada la conformación del castillo.