O grupo foi formado na década de 1950 na cidade de Nova York e recebeu o nome em homenagem ao seu vocalista principal, Jerome Anthony "Little Anthony" Gourdine, conhecido por sua voz aguda.

A banda foi uma das poucas agrupações de doo-wop a manter sucesso sustentável nas paradas de R&B e pop durante toda a década de 1960, mais tarde sendo introduzida no Hall da Fama do Rock and Roll em 2009, 23 anos após se tornar elegível para a premiação.