A canção alcançou o nono lugar no top 10 da parada de singles do Reino Unido, marcando o primeiro sucesso da banda no país.

Na parada Modern Rock dos Estados Unidos, "The Only One I Know" atingiu o quinto lugar em setembro de 1990.

A gravação original aconteceu no The Winding Studios, em Wrexham, e a mixagem final foi realizada por Chris Nagle no Strawberry Studios, em Stockport.

A música incorpora trechos da letra de "Everybody's Been Burned" dos The Byrds (1967) e um riff de órgão de "Hush" do Deep Purple.

O trabalho de guitarra de Jon Baker foi comparado a "You Keep Me Hangin' On" das Supremes, segundo Martin Blunt.

Em 2007, um cover da faixa com Robbie Williams foi incluído no álbum Version de Mark Ronson.