Caj Karlsson startade skivkarriären med bandet Sinn Fenn, inspirerade av irländsk folkmusik men med rötter i svensk vistradition. 2004 solodebuterade Caj Karlsson tillsammans med Världens bästa band. Albumet Gud straffar somliga med en gång blev en försäljningsmässig framgång.

Caj Karlssons texter behandlar ofta människor i samhällets utkanter, men tar också upp sångarens problematiska förhållande till sig själv, sin familj och sina vänner.