Le promontoire du Pharo était autrefois appelé la Tête de More. C’était un plateau rocheux sur lequel ne poussaient que des joncs et des herbes marines ; quelques guinguettes y étaient installés. Le nom de Pharo appartenait à l’anse qui fait suite, à l’ouest, à la Tête de More. Le “Farot” était la butte qui séparait cette anse de la pleine mer et sur laquelle se trouvait une vigie, mentionnée au XIVe siècle.

La décision de construire une résidence impériale à Marseille revient au Prince-Président Louis-Napoléon qui, lors de son voyage en septembre 1852, aurait souhaité avoir « une habitation qui aurait les pieds dans l’eau ». A la fin de la même année, il chargeait l’architecte Vaucher de trouver un emplacement à la demeure et d’en dresser les plans. Puis c’est l’architecte de Napoléon III, Lefuel, qui fut chargé du projet. De son côté, la Ville décidait de lui offrir les terrains choisis, ceux de la Réserve et du Pharo. Napoléon III accepta cette offre « voulant ainsi donner à la Ville de Marseille un nouveau témoignage de sympathie et resserrer encore les liens qui l’attachent à cette grande et patriotique cité ».