Il est né le 11 octobre 1951 à Paris, dans le 19e arrondissement, 3e d'une famille de quatre enfants. Sa mère, Ruth Ambrunn, née à Munich (Allemagne), et son père, Alter Mojze Goldman, né à Lublin (Pologne), furent héros de la résistance. Il a pour frère cadet l'auteur-compositeur Robert Goldman et pour demi-frère le militant d'extrême gauche assassiné Pierre Goldman. Bachelier en 1969, il poursuit ses études et intègre l'Edhec, dont il sort en 1973. Il a unfrère, Robert, avec lequel il a fondé la maison de productions JRG, et une soeur, Evelyne, qui est médecin.

Il a d'abord chanté dans le groupe Red Mountain Gospellers en chorale puis avec The Phalanster et enfin avec Taï Phong (Grand Vent en vietnamien) avant de débuter sa carrière solo, qu'il a mise entre parenthèses quelques années pour fonder un trio, nommé Fredericks Goldman Jones, avec le gallois Michael Jones et l'américaine Carole Fredericks.