Nel XVII secolo, il re Giacomo I iniziò a piantare alberi di gelso per l'allevamento dei bachi da seta sul sito degli attuali Giardini del Palazzo, dove già esisteva una grande casa. Nel 1698 fu affittata a colui che le diede il nome, John Sheffield, duca di Buckingham.
Rimase di proprietà dei duchi di Buckingham fino al 1762, quando Giorgio III acquistò il sito come residenza privata per la moglie, la regina Carlotta, ma St James's Palace rimase la sede ufficiale della corte. La casa fu successivamente ristrutturata e ammodernata più volte fino a diventare Buckingham Palace come lo conosciamo oggi.