“Have Mercy Baby” foi escrita por Billy Ward e Rose Marks e gravada em Cincinnati pela formação The Dominoes.

A produção ficou a cargo de Ralph Bass, que trabalhou o som da gravação para a Federal Records em 1952.

A canção liderou a parada R&B dos Estados Unidos por dez semanas consecutivas, um recorde de permanência na liderança para a época.

É reconhecida como a primeira música popular de R&B a incorporar de forma marcante elementos da música gospel negra, refletindo a influência do vocalista principal, Clyde McPhatter.