A localidade denominada Barão de Vassouras, localizada na periferia de Vassouras, consiste em um pequeno bairro ocupado por uma população majoritariamente negra, muitos deles aparentados entre si. O povoamento desse bairro se iniciou alguns anos após a abolição da escravatura e foi intensificado a partir dos primeiros anos do século XX. Entre 1888 e 1890, um engenheiro belga adquiriu duas grandes propriedades no local atualmente chamado Barão de Vassouras e lá montou um grande empreendimento composto de uma fábrica de laticínios, uma fábrica de meias, fazendas de criação de gado e suínos, além de uma olaria. Essas duas fazendas, adquiridas no final do século passado, correspondem ainda hoje a aproximadamente 80% de todo território de Barão de Vassouras, de acordo com informações de um dos seus descendentes.
Mesmo sem a existência de uma história coletiva, com relação à terra ou com relação a uma possível identidade de grupo, o bairro pode ser caracterizado por ser habitado majoritariamente por famílias negras marcadas historicamente pela escravidão. A oportunidade de trabalho assalariado e de transformar-se em colono da fazenda, já que o antigo proprietário oferecia casa aos funcionários, teria atraído uma grande quantidade de ex-escravos para o local. Muitas das famílias que ocupam o bairro atualmente são descendentes de ex-escravos de diversas fazendas vizinhas que, atraídos pela oportunidade de emprego e moradia oferecida pela antiga Companhia de Laticínio Vassourense e da Companhia Textil São Luiz, procuraram Barão de Vassouras para iniciar uma nova vida.
Até o momento da pesquisa do Projeto Egbé Territórios Negros, em 2001, não existiam conflitos fundiários na área.