Junto a la iglesia mudéjar de Alberite de San Juan, y haciendo ángulo recto con su torre, queda la base de sillería de una estructura que perteneció al primitivo castillo musulmán.
Recientemente se ha podido comprobar que la actual torre de la iglesia corresponde a la torre del castillo medieval, y que se utilizó como campanario de la iglesia, al igual que ocurre en Magallón.
En las obras de restauración recientes, se han desmontado forjados artesonados medievales, desechando los materiales, pero se ha podido recuperar una viga policromada con decoraciones heráldicas.