A faixa foi lançada em 17 de setembro de 1964 como parte do segundo álbum de estúdio do grupo, Where Did Our Love Go.

Berry Gordy insistiu que a produção soasse como o sucesso anterior "Where Did Our Love Go", resultando na reincorporação de elementos como os vocais de Diana Ross, os backups "baby-baby" de Florence Ballard e Mary Wilson e o batimento de pés de Mike Valvano.

Após o lançamento de "Baby Love", Diana Ross tornou-se a única integrante do grupo a ter solos em os singles lançados na década de 1960.

A música foi classificada na posição 324 na lista original da Rolling Stone sobre as 500 Melhores Músicas de Todos os Tempos, caindo para a 499ª posição na atualização de 2021.

A BBC posicionou a canção no número 23 da The Top 100 Digital Motown Chart, que rankiza lançamentos da Motown com base em downloads e streams acumulados no Reino Unido.