José Maria de Abreu, nascido em Jacareí SP, iniciou-se na música com o pai, o maestro Juvenal Roberto de Abreu, que lhe ensinou os rudimentos musicais no violão, piano, trompete e violino. Em 1917, mudou-se com a família para São Paulo SP, e em 1921 para Itapetininga SP.

Em 1922 era o primeiro trompete da banda da escola, tendo nessa época composto sua primeira música, o Hino do grupo escolar.

Em 1926 começou a trabalhar na orquestra do Cine Íris, de Itapetininga, tocando trompete, violino e, logo depois, piano. No ano seguinte ingressou na Escola de Farmácia de Itapetininga, abandonando-a logo em seguida para substituir o maestro da companhia de revistas de Otília Amorim, Sebastião Arruda e Abílio Meneses. Ainda em 1927 atuou como maestro no Teatro Boa Vista, em São Paulo, onde passou a viver em 1928, trabalhando como pianista nas casas Sotero e Di Franco. Nesse mesmo ano apareceu uma de suas primeiras músicas gravadas - Recordando** - valsa interpretada por Francisco Alves.

Por ocasião da revolução de 1932, compôs o hino Vencer ou morrer, com versos de V. Castro. Quando se transferiu para o Rio de Janeiro, em 1933, inscreveu Promessa** num concurso de músicas juninas promovido pelo jornal A Noite, obtendo o primeiro lugar. Logo depois a canção foi gravada por Gastão Formenti.

De 1933 a 1938 atuou como pianista contratado da Rádio Mayrink Veiga e em 1934 escreveu a opereta Sonho azul, com libreto de Ciro Ribeiro e Raul Sena. Ainda nesse ano tornou-se parceiro de Francisco Matoso, com quem fez alguns dos maiores clássicos do gênero romântico da década de 1930. Seu primeiro êxito foi também a primeira música da dupla, Boa noite, amor*, valsa gravada em 1936 por Francisco Alves, que mais tarde passou a ser prefixo do cantor na Rádio Nacional.

Dessa parceria surgiriam ainda outros sucessos, como o samba-canção Fui feliz* (1936), a canção Cancioneiro** (1936) e as valsas Ao ouvir esta canção hás de pensar em mim* (1940) e Horas iguais** (1937).

Em 1938 ingressou na Rádio Clube (hoje CBN) como pianista, tendo feito, nessa época, varias versões de música popular estrangeira. Com a morte de Francisco Matoso em 1941, tornou-se parceiro de Jair Amorim em 1942, com quem, durante dez anos, compôs seus mais conhecidos sucessos, como Um cantinho e você** (1948), Ponto final** (1949), Alguém como tu* (1952) e Sempre teu*.