A canção fez sua estreia exclusiva no site SPIN.com em 10 de janeiro de 2011, antes de seu lançamento oficial como single.

Embora tenha sido produzida por Björn Yttling, do trio Peter Björn and John, a faixa é originária do segundo álbum de estúdio de Lykke Li, Wounded Rhymes.

O remix feito pelo DJ belga the Magician em 2011 foi classificado como "house dos anos 90" e alcançou o topo das paradas em cinco países diferentes: Bélgica, Alemanha, Itália, Polônia e Romênia.

A versão remixada de the Magician não só liderou paradas na Europa, mas também chegou ao segundo lugar na Suíça, Áustria, Irlanda e Holanda, e ao quarto na França.

A banda belga Triggerfinger regravou "I Follow Rivers" em 2012, conquistando a primeira posição das paradas musicais na Áustria, Bélgica e Holanda.

Lançada oficialmente em 21 de janeiro de 2011, a música foi designada como o segundo single extraído do álbum Wounded Rhymes.