A Comunidade Remanescente de Quilombo de São José da Serra consiste atualmente na sétima geração desde os primeiros escravos comprados para trabalhar nas lavouras de café da fazenda São José, no município de Valença. As gerações seguintes construíram laços de parentesco e solidariedade, viveram a crise do café e sua substituição pelo milho e depois pelo gado. Desde então, as famílias, unidas por laços de parentesco, permaneceram por mais de um século na mesma terra herdada por seus ancestrais do antigo proprietário da fazenda. Essas famílias vêm assistindo a sucessivas gerações de herdeiros adiarem a promessa verbal de legalizar a doação feita pelo primeiro proprietário, assim como resistido como podem ao avanço sobre suas posses.
Nessas terras, os negros de São José constituíram um núcleo religioso e cultural procurado não só pelos moradores das cidades próximas, mas de vários outros pontos do estado. Além do poder religioso de sua matriarca, a comunidade é uma referência também por seu jongo, que atrai bailarinos, estudiosos ou simples simpatizantes.
Os conflitos se iniciaram há cerca de quinze anos, quando um novo proprietário, de fora da família do antigo proprietário que teria feito a doação verbal, começou a restringir as liberdades com as quais os moradores estavam acostumados, na realização de atividades religiosas e na redução do espaço destinado às plantações. O reconhecimento como "remanescente de quilombos" em 1999 abriu o caminho para a titulação de suas terras, mas o processo tem se mostrado demorado porque depende da desapropriação de cinco fazendas. Além disso, a população questiona os limites indicados no parecer da FCP que delimitou uma área de 837,75 ha, quando a própria comunidade reivindica uma área com a qual sempre manteve laços históricos e imemoriais que corresponderia unicamente a atual Fazenda São José, hoje com aproximadamente 250 ha (dados não oficiais e sem confirmação técnica).