El castillo conocido popularmente como “el castillo de los Moros” se encuentra sobre una colina en la margen izquierda del río Manubles.
Se localiza en la zona del pueblo más próximo a Bijuesca. Es de planta cuadrada y todavía se conservan algunos tapiales y almenas. Se construyó en el siglo XIV, concretamente durante la guerra de los Dos Pedros que enfrentó a Castilla y Aragón. El rey Pedro IV de Aragón mandó despoblar la mitad del pueblo y fortificar la otra mitad. Una muralla de casas que recorrían la ribera izquierda del río contribuyó también a la defensa del pueblo. En 1358 Pedro I de Castilla penetró en tierras aragonesas y se apoderó de Torrijo. Hernán Gutiérrez de Sandoval fue nombrado gobernador del municipio, pero debido a una rebelión torrijana fue asesinado.
