La duchesse de Dino était sa nièce... et sa maîtresse... Tout Londres a pu les voir ensemble lorsqu'il y devint ambassadeur de France en 1830...
Par ailleurs, quoique évêque, Talleyrand fut marié, ce qui fut rendu possible grâce à une intervention personnelle de Napoléon :
Durant les négociations du concordat de 1801, Bonaparte souhaitait que la situation de son ministre se normalise et qu'il quitte ou épouse sa maîtresse (l'ex-Mme Grand). Elle-même, qui ne demandait que cela, se plaignait de sa situation auprès de Joséphine — d'après Lacour-Gayet, Talleyrand lui-même le souhaitait. Après de vifs désaccords, le pape, dans un bref, permit à Talleyrand de « porter l'habit des séculiers » mais lui fit rappeler qu'« aucun évêque sacré n'a été dispensé, jamais, pour se marier ». Sur l'ordre de Bonaparte, le Conseil d'État aà sa façon ce bref papal et rendit Talleyrand à la « vie séculière et laïque » le 18 août 1802. Le 10 septembre 1802, il se mariait donc à l'hospice des Incurables, rue de Verneuil à Paris, avec Catherine Noël Worlee, qu'il connaissait depuis trois ans. Les témoins étaiet Pierre-Louis Roederer, Étienne Eustache Bruix, Pierre Riel de Beurnonville, Maximilien Radix de Sainte-Foix et Karl Heinrich Otto de Nassau-Siegen. Le contrat fut signé par Bonaparte et Joséphine, les deux autres consuls, les deux frères de Talleyrand et par Hugues-Bernard Maret ; Roederer affirme qu'un mariage religieux eut lieu le lendemain. De Catherine Noël Worlee, Talleyrand eut sans doute une fille, Charlotte, née en 1799 et déclarée de père inconnu, qu'il adopta en 1803 et maria en 1815 au baron Alexandre-Daniel de Talleyrand, son cousin germain. Séparés depuis longtemps, Talleyrand et Catherine divorceront en 1815, après sa démission de la présidence du Conseil.