A canção foi originalmente composta para o trio Labelle, liderado por Patti LaBelle, mas ela nunca a gravou, fazendo com que os autores Kenny Gamble e Leon Huff a oferecessem ao grupo Harold Melvin & the Blue Notes.

A versão dos Harold Melvin & the Blue Notes contava com Teddy Pendergrass como vocalista principal e com participações nos vocais de fundo dos próprios produtores Gamble, Huff, Carl Helm e Bunny Sigler.

Lançada como single em setembro de 1972, a faixa marcou o primeiro grande sucesso do grupo, atingindo o topo da parada de R&B nos Estados Unidos e alcançando o 3º lugar na Billboard Hot 100.

A banda britânica Simply Red regravou a música e levou sua versão ao 1º lugar da Billboard Hot 100 em 1989, tornando-se uma das covers mais notáveis da faixa original.

A Associação da Indústria de Gravação da América (RIAA) escolheu "If You Don't Know Me by Now" como uma das "Músicas do Século".