Oliver's Army gaat over het conflict in Noord-Ierland en in de tekst wordt het racistische woord nigger gebruikt om een soldaat te omschrijven. "Zo werd mijn opa genoemd toen hij in het Britse leger zat, het is een historisch feit. Maar als mensen dat woord horen, dan beschuldigen ze me van iets wat ik niet zo bedoelde", legt de zanger uit aan The Telegraph.

Radiostations censureren het liedje al jaren, maar dat vindt Costello niet de juiste oplossing. "Doordat ze een bliepje gebruiken, maken ze het alleen maar erger. Ze leggen er dan de nadruk op. Draai het nummer gewoon niet meer."