La storia del quartiere Panier inizia quasi 2.600 anni fa, quando fu fondata la città di Marsiglia con il nome di Massalia. I Greci scelsero questo luogo per depositare i loro bagagli grazie alla sua posizione elevata e alla vicinanza al mare. L'agorà, da cui i cittadini potevano tenere d'occhio le attività del porto, si trovava nell'attuale Place de Lenche, mentre la Butte des Moulins ospitava l'acropoli dedicata ad Atena.
Il quartiere continuò a svilupparsi con l'espansione di Marsiglia. Nel XII secolo, la Confrérie du Saint-Esprit costruì un ospedale, che in seguito divenne l'Hôtel Dieu e che oggi è stato trasformato in un hotel di lusso, l'InterContinental Marseille a 5 stelle. Nel XVIII secolo fu costruito un grande ospizio: la Vieille Charité.