A canção originalmente recebeu o título “Carol, I Know”, mas ao ser pronunciado Brian Wilson ouviu “Caroline, No”, o que levou à mudança do nome.

Tony Asher revelou que a inspiração para a letra veio de uma ex-namorada que se mudou para Nova Iorque e cortou o cabelo.

Na época do ensino médio, Brian Wilson nutria uma obsessão por Carol Mountain, colega de classe e seu amor não correspondido, o que influenciou a temática da música.

Depois de esclarecer a confusão entre os títulos, Wilson e Asher decidiram manter “Caroline, No”, acreditando que o novo nome conferia uma melancolia mais profunda à melodia triste.