Victoria era inizialmente conosciuta come "Fort Albert" e si è sempre presentata come una mecca per accordi e negoziati. Infatti, fu ribattezzato "Fort Victoria", un omaggio e un'adulazione alla Regina d'Inghilterra, nel 1843 in previsione del Trattato dell'Oregon del 1846, che mirava a porre fine al conflitto tra gli americani e gli inglesi sul confine dell'Oregon. Qualche anno dopo, i Songhees, gli indigeni che vivevano sul sito di Fort Victoria, eressero un nuovo villaggio intorno al forte. In seguito, tra il 1850 e il 1854, furono firmati sul posto una serie di altri trattati, i cosiddetti Trattati Douglas, in riferimento a James Douglas, il primo governatore della Columbia Britannica.
