Nel 1652, Luigi di Vendôme, cugino del re Luigi XIV, fu inviato in Provenza per pacificare la regione e rafforzare l'autorità reale. Quest'uomo mite e pio fu molto apprezzato dalla popolazione di Aix e fu nominato governatore della Provenza nel 1654. Dieci anni dopo, gli furono offerte 20.000 sterline per costruirsi un palazzo privato nel cuore diAix-en-Provence.
La leggenda vuole che la costruzione del Pavillon de Vendôme sia stata motivata dall'amore del Duca per Lucrèce de Forbin-Solliès, nota anche come "Belle du Canet", che lo incontrava lì al calar del sole. Morì lì nel 1669, a soli 57 anni, e si dice che i suoi "esercizi" con la Belle finirono per ucciderlo...