Em meados do século XIX as famílias aristocráticas portalegrenses herdeiras da nobreza de tradicional , viviam no centro da cidade, ocupando grandes casas nobres e em alguns casos, palácios. Era o caso dos Castelo Branco que ocupavam o Palácio Barahona, no Largo Serpa Pinto, assim chamado em homenagem ao famoso engenheiro e matemático, D .Francisco Cordovil Castelo Branco Brahona, personagem distinta que se dedicou durante largo tempo da sua vida aos interesses da cidade. A família CASTELO BRANCO: - representada então por D.Francisco Cordovil Castelo Branco, descendente de uma família originária de CasteloBranco originária da Beira Baixa e que na época medieval e moderna prestou serviço a vários monarcas portuguesas, em distintas campanhas militares que se desenrolaram em Portugal e no Norte de África. De facto, Rui Gonçalves, fundador da família de Castelo Branco, foi Contador da Fazenda na província da Beira e surge mencionado pela documentação, pela primeira vez em registo testamentário de 22 de Outubro de 1576, por Gonçalo Vaz Castelo Branco que deixava a sua filha, Isabel Sequeiro, a quarta prata do seu património. Seu filho, Nuno Vaz Castelo Branco, serviu a coroa portuguesa no Estado da Índia, sendo em consequência seu irmão Martin Vaz Castelo Branco, que manteve as funções de seu avô de Contador da Beira. A partir de então a trajectória histórica da linhagem Castelo Branco passou a estar vinculada de uma forma directa com a capital norte alentejana. Porque D. João Rodrigues Castelo Branco, filho varão de Martim Vaz, se estabeleceu em Portalegre e terminou convertendo-se no herdeiro principal de sua riqueza, obtendo uma quarta parta do seu património por testamento de 18 de Junho de 1578 com a condição de trespassar 200$000 réis a sua irmão Beatriz e 100$000 réis aos filhos de esta que serviam a Coroa portuguesa em terras da Índia. Assim este herdeiro da família Castelo Branco foi, sem dúvida, o primeiro proprietário da agrícola da família adquirindo logo várias herdades muito extensas no território do distrito, entre elas se destacaram as chamadas “Cantos e Safros por 170$000 rs. Mais tarde foi Nuno Vaz Castelo Branco, nascido em 16 de Novembro de 1622 com o título de morgado de Freixo y Naves e cabeça principal na linha dos herdeiros directos da família, que seguira a carreira das armas na Índia começada pelos seus antecessores nos finais do século XVI. A geração posterior continuou mantendo o seu património agrário do grupo familiar numa só pessoa. Os sucessores directos de Nuno Vaz, optaram pela vida religiosa, Francisca Pestana e Mendo Castelo Branco e outro descendente, João Batista de Castelo Branco, marchou a Roma depois de ter completado os seus estudos superiores na Universidade de Coimbra. Seria o seu quarto herdeiro, natural Pedro Caldeira Castelo Branco, nascido em 20 de Outubro de 1663, que ampliou notavelmente o património agrário de família graças a um casamento vantajoso, como se observa em relação às propriedades incluídas no testamento da sua mulher, Maria Leonor Taborda de Sá. Durante o século XVIII os filhos de D. Pedro Caldeira e Dona Maria Leonor Taborda continuaram afirmando-se como grandes proprietários rústicos e pecuários. Inclusive o seu filho ilegítimo João Rodrigues Castelo Branco, que surgia no princípio do séc. XIX como um dos proprietários más ricos do distrito e titular de várias quintas de Castelo Vide e Alpalhão. Durante a segunda metade de Oitocentos a família de Castelo Branco esteve representada por D. Francisco Cordovil Castelo Branco, que tal como outros familiares, continuaram a aumentar o seu património rústico através de novas compras e a sua capacidade económica através do arrendamento de algumas propriedades a particulares e na participação do negócio da cortiça, actividade de resto rentável por contratos que se estabeleciam com comerciantes deste produtos de várias zonas do País. Mas apesar de tudo, no final da década noventa e na transição para o século XX as dificuldades financeiras e económicas ameaçam os Castelo Branco, a venda de propriedades pertencentes a vários membros e inclusive, Luís Xavier de Barros Castelo Branco rico proprietário em Castelo Vide, Arronches, Niza e Portalegre, anuncia a decadência deste grupo familiar que chega a recorrer a empréstimos que devido às altas taxas de juro, aceleram a sua decadência e a venda do seu Palácio é o fim de uma das famílias históricas de Portalegre.
