Nos primórdios, pelo ano de 1914, Goiabal era apenas uma capela da paróquia de Dionísio, tendo algumas casas velhas de sape habitadas por um grupo de negros, não tendo a tradição local guardado os nomes dos primeiros nem a razão exata porque teriam se fixado aqui. Ainda nessa época, os primeiros brancos se estabeleceram aqui e se dedicaram a agricultura começando então a se desenvolver.

Em meados de 1916, houve uma reunião presidida pelo Sr. Manoel Ribeiro Torre com o objetivo de discutir a construção de uma capela com a capacidade para quinhentas pessoas, cuja pedra fundamental foi benta em 10 de maio de 1917, pelo padre Manoel Carlos de Ataíde. Já em 1920, a capela ficou pronta e benzida pelo padre Isidoro que celebrou uma missa assistida por muitas pessoas e, o nome da capela ficou sendo “Capela São José do Goiabal”. Em 12 de dezembro de 1953, São José do Goiabal foi emancipado pela lei nº 1039, tendo como seu primeiro prefeito o Sr. Aristides Ulhôa de Castro. Em 21 de abril de 1960, na matriz de São José do Goiabal fez-se a Instalação Canônica da Paróquia que contou como seu primeiro pároco o padre Francisco Ermelindo Ribeiro.

O nome São José do Goiabal se deu pela grande quantidade de goiabeiras nativas existentes no local e pela homenagem ao santo da primeira capela aqui existente, dedicada a São José, em torno da qual se formou o povoado.