竟宁元年，正一品闽浙总督、兼协办大学士纳兰崇之以年迈乞休，准以原官致仕，另授光定公衔，予以给俸。公携妻女归京，斥重金修葺万年胡同旧邸。筑小楼，扩宅院，理书阁，水榭山房，参差错落，各极其致。府内之东辟新苑，公亲题匾，称悠云台，夫妇共居，愿“闲云野鹤常相守，孤舟渔翁乐清闲”。