Este gran palacio perteneció a la familia Vera, una de las más importantes de la ciudad, y cuyos últimos moradores, los Condes de Castelflorit y de Fuentes, Marqueses de Mora, Señores de Antillón y de Torrellas, entre otros títulos, legaron parte de su palacio para Hospital de Peregrinos. Esta benéfica institución, creada a principios del siglo XVIII, es el origen de la denominación popular actual con la que se conoce a este palacio: “Casa de las Conchas”. Las conchas o veneras que ornan su puerta principal es el distintivo propio de los Peregrinos que se dirigen a Santiago de Compostela. Este palacio puede ser considerado como el más importante de la ciudad. Fue declarado Monumento Nacional BIC (Bien de Interés Cultural) en 1978. Actualmente no es visitable, ya que se halla en proceso de restauración.