El edificio actual debe su imagen a un largo proceso de restauración,
aún en curso, iniciado a raíz de su declaración como Bien de Interés
Cultural (B.I.C.), el 8 de noviembre de 1904. El castillo posee planta trapezoidal y consta de dos recintos. El primero o barbacana es bajo, con cubos en los ángulos y en el centro de cada uno de sus lados. Presenta escarpa hacia el foso,
y la puerta se protege por dos robustos torreones, comunicados en
sentido vertical. El segundo recinto, mucho más sólido, tiene muros de
gran altura y fuertes torreones en los ángulos, destacando por su
elevación la torre del homenaje.- Torre del Homenaje: tiene planta cuadrada y mide 38 m de altura y 13,5 m de anchura en cada lado de su perímetro exterior. Unida a los muros del segundo recinto, forma el ángulo norte del mismo, defendiendo la puerta de entrada que da al Patio de Armas. En la actualidad consta de 5 plantas. La primera y segunda están reconstruidas, son octogonales, con bóveda plana. La tercera, también reconstruida, es un cuadrado con bóveda de plena cimbra. Sobre éstas se encuentra la más bella e interesante de todas, reformada por una estancia de planta cuadrada que se transforma en un octágono por medio de semibóvedas de aristas o trompas, que cierran los ángulos del cuadrado y después de un polígono de 16 lados montado en una arquería volada de planta triangular, abriéndose cada arquito sobre una base que va disminuyendo desde arriba hacia abajo hasta terminar en punta. También de planta cuadrada y bóveda de claustro es la estancia del piso más alto, transformándose en un octágono por medio de unas pechinas planas situadas en los ángulos del cuadrado. En la plataforma de la torre hay matacanes a lo largo de cada una de sus fachadas, protegidos a su vez por ocho garitones que forman ángulos entrantes en ésta. En el centro se levanta una torre caballero de arcos de medio punto.
- Patio de Armas: se organiza por medio de tres crujías que se abren al patio por una serie de arcos apuntados, reproduciendo las trazas originales de las dependencias del castillo. La portada gótica es un vaciado de la que mandó poner Beatriz Galindo, la Latina, en el Hospital de Madrid que llevaba su nombre. El original de esta portada es obra de un artista árabe, el alarife Hazan. Está hecha al gusto musulmán, como lo indica la curva del arco de ingreso, que luce una decoración de bolas, estatuillas bajo lindos doseles y realzando el conjunto una airosa ventana, todo ello encuadrado dentro de un alfiz de tipo naturalista. Se representa el abrazo de San Joaquín y Santa Ana ante la Puerta Dorada, los timbres de los Ramírez y los Galindo, y estatuas de dos santos. La colocación de esta portada en el Patio de Armas se debe al Marqués de Lozoya.