Nel XIII secolo Saint-Raphaël era sotto l'autorità del vescovo di Fréjus, che occasionalmente risiede lì, nonché a Fayence e Puget, la sua residenza principale era Fréjus. Fu lui ad avviare la costruzione di questa torre, eretta sul braccio del transetto sud della Chiesa di San Rafeu, alla fine del XIII secolo.

Questa torre fortificata, la cui origine è stata a lungo erroneamente attribuita ai Templari, a causa di somiglianze nelle tecniche di costruzione, è più un simbolo di autorità che un elemento difensivo. Alto 25 metri, ha 3 piani e le sue pareti sono costituite da luoghi di antico riutilizzo.

Fu solo nel 1881 che il campanile in ferro battuto fu apposto in cima alla torre, così come la campana, del peso di 100 kg e scandendo le ore. In cima ai 129 gradini si apre davanti a voi un superbo panorama a 360 °, dalle vette dell'Estérel alla punta di Saint-Tropez, passando per gli stagni di Villepey, la roccia di Roquebrune e una vista mozzafiato della basilica e delle sue cupole bizantine.