A existência de escravos libertos em meados do séc. XV nas regiões de fronteira era uma realidade devidamente comprovada pela documentação, mas à medida que avançamos para a modernidade o escravo de origem africana encontra-se perfeitamente registado, em documentos tão banais como os registos paroquiais. Mais de cinco centenas de escravos oriundos dos contactos com a Costa Ocidental Africana integravam a comunidade elvense e alguns deles não só adquiriram a sua liberdade como no séc. XVII constituíram a chamada Irmandade dos Homens Pretos com o objecto da sua libertação. Mas considerando de novo os números com base nos livros paroquiais da Sé e do Salvador, ao longo do século XVI o número de escravos chega a um número excepcional de 3.700 efectivos e apenas duas centenas deles não terão atingido a categoria de homens livres. Alguns terão sido objecto de venda nos mercados de escravos da Extremadura Espanhola apesar de faltar provas documentais expressivas, ao contrário a concessão da sua liberdade é notícia mais frequentemente na análise de fontes, como é caso de Isabel Tinoca, solteira que concede ao seu escravo António, a sua liberdade, legando-lhe algum dinheiro e alguma roupa, o que não deixa de ser curioso numa época em que o escravo segundo as leis portuguesas estavam dependentes do seu senhor como de um bem móvel se tratasse (uma coisa), a designação de preto/a ou de homem baço/a acompanha, o nome e a profissão dos escravos liberos na comunidade local. Eram muitos os que estavam sob as ordens dos seus senhores, os fidalgos e a nobreza tradicional, eram sem dúvida os proprietários das centenas de escravos que asseguravam a maioria das tarefas domésticas, os velhos Pegados da época da reconquista, Afonso Eanes Nunes ou a família Gama, que há sua conta tinham quase três dezenas de escravos na sua casa aristocrática. Mas a questão da alforria dos escravos negros é uma questão que merece uma reflexão, qual o papel das Irmandades dos Homens Negros no libertação dos escravos? A resposta, estararia na sua capacidade de recolher doações em dinheiro ou bens com vista a essa intenção, todavia os seus estatutos estavam centrados na defesa dos escravos livres ou cativos e na organização e custo dos funerais dos irmãos mais pobres. O “chefe” da Irmandade era identificado pelo nome do “Rei Preto”, a sua sede estava situada na Igreja do Convento de S.Domingos e funcionou regularmente até ao séc. XVIII. Outro grupo social, os mouros que viviam na cidade de Elvas nos finais do séc .XVI, nada tinham a ver com aos da época da reconquista, uma parte dos mesmos encontraram nas terras da fronteira portuguesa um exílio forçado, para manterem as suas crenças religiosas face a perseguição e violência da inquisição espanhola. A sua presença em Elvas era tolerada e na antiga vila de Elvas em plena época medieval, havia mesmo um cemitério situado no adro da Igreja de S.Vicente , uma conquista dos procuradores de Elvas às Cortes de 1436 que pretendiam que as sepulturas das comunidades cristãos e mouras fossem devidamente separadas para evitar os desacatos que por vezes ocorriam junto do Convento de S. Domingos quando os cortejos fúnebres dos mouros se aproximavam dos aglomerados cristãos. Por outro lado, pelos registos de morada de alguns mouros de Elvas, a hipótese do desenvolvimento desta comunidade a partir das Portas de S. Vicente parece-nos bastante credível. Ao contrário da comunidade judaica que atingiu alguma notoriedade na transição para a época moderna ao ponto de terem reconhecimento nacional e regional, os mouros estavam limitados à sua área comunitária e nem todos eram livres, como são exemplo os que prestavam serviço aos grandes da cidade era o caso, de João, baptizado em 1603 e que servia o Corregedor André Valente ou do escravo do senhor Bispo (?) que casou com a viúva da comunidade cristã, Maria Rodrigues. A comunidade cigana, essa era quase inexistente e os registos da sua existência, são relativos aos que eram baptizados e à sua participação nas festas da cidade em muitos especiais, havendo referencia às moças ciganas que dançaram na Praça, quando D.Maria filha de D. João III entrara na cidade quando se dirigia para Castela com o fim de casar com filho do Imperador Carlos V, o príncipe Filipe que em 1580 tornar-se-ia rei de Portugal.