Costruito nell'XI secolo su iniziativa dei monaci di Lérins, che si erano stabiliti sull'isola di Saint-Honorat, il castello è una delle poche testimonianze del Medioevo rimaste a Cannes. Edificio conventuale, cioè monastero maschile, comprende un edificio principale, una torre e una cappella. La torre quadrata di 21 metri serviva a sorvegliare la baia in caso di attacco.
Il castello fu distrutto nel XVIII secolo dal vescovo di Grasse. Durante la Rivoluzione francese, fu venduto a una ricca famiglia che lo ristrutturò e lo abitò fino al 1878.