Ancienne résidence des empereurs germaniques puis jusqu’en 1792 des archevêques d’Arles, vassaux des empereurs du Saint Empire Romain Germanique (d’où le nom provençal « Empéri »), bâtie sur le rocher du Puech, cette imposante forteresse fut érigée entre le IX° et le XIII° siècle, puis complétée au XVI° siècle par l’adjonction d’une galerie Renaissance. Ce sont les archevêques qui transformèrent cette demeure féodale en palais. Il est aujourd’hui le plus ancien château fort de Provence encore debout et l’un des trois plus grands.

Devenu caserne au XIX° siècle, le château est fortement endommagé par le tremblement de terre survenu le 11 juin 1909. Ce séisme entraîne la destruction de deux des tours et d’une partie du crénelage. A partir de 1920, d’importants travaux de restauration sont entrepris.

Le château est aujourd’hui un musée militaire, le deuxième de France après celui des Invalides dont il est l’annexe. Diverses collections d’armes, de documents et de costumes retracent l’histoire des armées françaises sous l’ancien régime, pendant les guerres napoléoniennes et jusqu’à la première guerre mondiale.

L’été, outre cette vocation de musée, le château sert aussi de lieu de spectacle tout autant dans le domaine théâtral que musical. Les cours d’Honneur (Jean Brunon) et Renaissance (Jean Blanchard) accueillent les représentations des divers festivals dont celui de « Théâtre Côté Cour ».