« En l’An de grâce 1520, Messire François de la Rivière, Révérend Père de l’Abbaye du Thoronet, fait commencer la construction d’une tour sur le bord de mer, pour assurer la sécurité de Sainte-Maxime. »

40 ans plus tard, en 1560, l’Abbé Jacques Ursin de l’Abbaye du Thoronet, commanda deux étages supplémentaires. Par crainte des pirates et des guerres de religion, les artisans n’élevèrent la tour que d’un seul étage avant de s’enfuir. La construction de son dernier étage reprit en 1856. A partir de 1969, elle retrouva son aspect d’origine, à savoir une tour aux pierres apparentes, une fois les couches d’enduit et de crépi retirées.

Au cours de son histoire, la Tour Carrée fut utilisée comme demeure seigneuriale, tour canon destinée à protéger le Golfe, grenier à grains, prison (comme en témoigne l'étroit cachot ouvert dans ses murs), école et mairie (de la révolution à 1935). Depuis 1985, elle accueille le Musée des Traditions locales.