Dédié à saint Ruf, l abbaye fut le siège d un ordre de chanoines réguliers de saint Augustin développé à la fin du xie siècle à partir d un lieu de culte de la périphérie d Avignon, mal documenté jusqu à sa cession en 1039 à quatre clercs, désireux de « vivre religieusement », par Bénézet, évêque d Avignon

Des fouilles archéologiques ont montré que le site de l abbaye avignonnaise était initialement celui d'une nécropole paléochrétienne. Mais la personnalité exacte du saint n est pas assurée : sa qualification comme premier évêque d Avignon, son identification avec Rufus le fils de Simon de Cyrène, relèvent de traditions développées avec l essor de l ordre.