L'hôtel de Vermandois se dresse entre la cathédrale et le château royal, dans le quart Nord Est de l'ancien castrum, aire privilégiée où se concentraient tous les pouvoirs. Il a appartenu au comte Raoul 1er de Vermandois, sénéchal de France, petit-fils du roi Henri 1er et d'Anne de Kiev, cousin germain du roi Louis VI, chancelier de ce dernier puis du roi Louis VII.

C'est Louis VII qui propose à Raoul d'épouser Pétronille, la sœur de sa femme Aliénor d'Aquitaine. La cour de Louis VII se rendait régulièrement à Senlis. C'était un vrai plaisir pour les deux sœurs, qui n'avaient qu'une simple rue à franchir pour se retrouver.

Pendant l'absence de Louis VII, parti pour la deuxième croisade en juin 1147, Raoul reste en France en qualité de co-régent du royaume avec l'abbé Suger.

L'aspect de l'hôtel actuel résulte de la restauration opérée au XVIe siècle avec, en particulier, l’adjonction d’une élégante tourelle octogonale en briques et pierres. Mais son principal intérêt réside dans la structure encore existante de sa construction vers 1140 : ceci est d’autant plus intéressant que nous avons très peu de vestiges de l'habitat civil urbain antérieur au XIIIe siècle. Il s'agit là d'une maison noble en plein cœur de la cité; peu de temps propriété de la Maison du Temple de Paris, elle deviendra maison canoniale en 1194 comme beaucoup d'autres demeures qui passeront des mains des nobles appauvris à celles des ordres religieux.

L'hôtel du comte Raoul s'appuie au Nord sur le rempart gallo-romain dont il a annexé une tour. Il communique ainsi via le chemin de ronde de la muraille avec le palais royal tout proche. Construit perpendiculairement au rempart, il offrait primitivement à l’étage une salle d’apparat d'environ 14 mètres sur 7 mètres, située au-dessus d'un rez-de-chaussée surélevé, transformé postérieurement, et communiquant avec des pièces plus intimes aménagées dans les parties hautes de la tour gallo-romaine. Les murs de la salle haute sont rythmés par des arcades en plein cintre ornées de colonnettes et chapiteaux à décor de feuilles plates (comme dans la partie la plus ancienne de la cathédrale).