Su padre y su abuelo también fueron perfumistas, y él acredita haber sido sus mayores influencias. Cuando era niño, su padre lo entrenó en las fragancias de componentes naturales crudos para que fuese creando su propia biblioteca olfativa, almacenando en su cerebro actualmente en torno a los 5.000 aromas diferentes.

Comenzó a trabajar en fábricas de perfumes en Grasse durante los veranos a partir de los 10 años. Trabajó en Charabot, Naarden, Firmenich y actualmente es Maestro Perfumista de Louis Vouitton.

A Cavallier se le atribuye la incorporación de la molécula sintética metilbenzodioxepinona (8-metil-1,5-benzodiazepina-3-ona), conocida como Calone 1951, en varios de sus perfumes más exitosos, como Aqua di Gio y L'Eau d'Issey. Calone proporciona el prominente aroma "marino" en los perfumes y da un aroma ligero, aireado y de brisa marina con una sensación acuosa de sandía/melón. 

Ha creado o colaborado en la creación de más de 80 fragancias y perfumes para marcas de moda como Parfums Christian Dior, Parfums Givenchy, Issey Miyake, Yves Saint Laurent, Fenty Beauty y Lancôme.

En 2004, Jacques Cavallier recibió el Prix François Coty , ahora conocido como Prix ​​International du Parfum.