"Ghost Rider" foi lançada no álbum de estreia da banda protopunk Suicide, que leva o mesmo nome e saiu em 1977.

A temática da música é baseada no personagem do Marvel Comics, pois a voz Alan Vega tinha a revista como sua preferida devido aos elementos religiosos e metafísicos presentes nela.

Em 1981, o vocalista Alan Vega gravou uma nova versão da faixa para incluir em seu segundo álbum solo, intitulado Collision Drive.

Vega souhaitou que a versão original de 1977 fosse utilizada na trilha sonora do filme Ghost Rider de 2007, mas esse desejo não se concretizou.