Marie-Louise Stern, issue de la Judengasse de Francfort, devenue marquise par son mariage avec Louis de Chasseloup-Laubat, filleul de l’impératrice Eugénie, l’épouse de Napoléon III, achète l’hôtel particulier au numéro 5 de la rue de Constantine à Rosalie von Gutmann, épouse de Robert de Fitz-James, un descendant de Jacques II d’Angleterre renversé par son gendre Guillaume d’Orange en 1688 lors de la Glorieuse Révolution.