严嵩虽然位极人臣，却没有像许多官员三妻四妾，逛窑子、喝花酒，他对爱情比较忠诚，夫人姓欧阳，在嘉靖末年去世了。按照礼制，严世蕃应该回江西老家安葬母亲，可严嵩离不开东楼呀，没了他，谁来揣摩皇帝的心思，帮助他票拟意见？就让孙子护送奶奶灵柩南下，把严世蕃留在京师。因为有孝在身，严世蕃不能入直房，只能待在家里。皇帝有命令下来了，大臣有折子上奏了，严嵩只能自己票拟，但写出来的东西往往不能让朱厚熜满意。还是得靠东楼！于是他就派人回家让严世蕃拟旨，可是严世蕃沉溺于声色之中，不能及时作答。等了半天还不来，嘉靖皇帝不耐烦了，八十多岁的老臣了，越来越不顶用，本来就对他们不满意，现在更加不满了。
嘉靖四十年（公元1561年），一场火灾，把朱厚熜居住的永寿宫烧毁了。皇帝住哪儿呢？是个值得思考的问题。严嵩没有猜透皇帝心思，建议他住到南城斋宫去，引得龙颜大怒。那是什么地方？是明英宗朱祁镇做太上皇时住的南宫呀，关押阶下囚的地方，朱厚熜会愿意住到那里去？这时内阁次辅徐阶建议皇帝重修永寿宫，永寿的寓意让朱厚熜很满意，真是深得朕心。宫殿建好后，改称为万寿宫。严嵩更加失宠了，有军国大事，都不怎么找他，全问徐阶去了。