Il Palazzo del Cervello ha avuto un ruolo importante nella storia della città durante il periodo in cui i reali vi soggiornarono quando il Palazzo Reale fu demolito. Fernando VII firmò qui la Costituzione nel 1812, così come María Cristina la sua abdicazione. Qui ha alloggiato anche Isabella II ed è stato il centro di molti eventi importanti. Una ristrutturazione eseguita nel XIX secolo gli ha conferito l’attuale facciata principale neoclassica, mentre la parte posteriore del palazzo ha mantenuto il suo carattere barocco. Nel cortile parzialmente porticato è stato effettuato un restauro modernista dall’architetto Manuel Peris Ferrando nel 1905.