Los primeros elementos de la primitiva Casa Fuerte datan de finales del siglo XIII. La construcción que hoy conocemos es del siglo XV. En su origen se trataba de un edificio militar formado por cuatro torres, dos redondas y otras dos cuadradas, unidas por una muralla que delimitaba un recinto cerrado de planta aproximadamente cuadrada, abierto a poniente por su puerta principal, situada junto a la torre albarrana. Perdería su carácter defensivo en el siglo XVI, convirtiéndose en un hermoso Palacio, residencia de los señores de Orellana. Hoy día se conserva la torre del Homenaje, un torreón circular y otras estancias y restos que están siendo rehabilitados.

De estilo renacentista, fue construido en el siglo XVI, por iniciativa de la propia casa de los Orellana, siendo su fundadora Dª Teresa de Meneses, viuda del sexto señor Don Rodrigo de Orellana. El convento fue habitado por las monjas de clausura de la Orden de Santo Domingo, que abandonaron el inmueble en 1836, a raíz de la desamortización de Mendizábal. El conjunto se ha rehabilitado en la década de los 90 del siglo XX, ubicándose en la actualidad en el mismo un Centro Cultural que alberga la Biblioteca Municipal, el Auditorio “Esteban Sánchez” y una sala de exposiciones.