但是到霍光去世后，形势开始逆转。所有的人都清楚，汉宣帝肯定要秋后算帐，以报杀妻之仇。

这时候霍家的权势还是非常大的：他们占据了大量关键的位置：霍光的儿子霍禹、霍去病的孙子霍云都是中郎将，霍云的弟弟霍山是奉车都尉侍中，掌握着胡越兵。霍光的两个女婿分别是东西宫的卫尉，掌握着整个皇宫的安全。其他的霍家子弟都是诸曹大夫、骑都尉、给事中等，官居要职。可以说这个时候，如果汉宣帝轻举忘动，霍家再来一次废立皇帝的事可谓轻而易举。

汉宣帝当然不敢动手，他不仅没有动霍家一根汗毛，相反还升霍家子弟的官。霍禹当了右将军，继承了霍光博陆侯的爵位;霍山被封为乐平侯，以奉车都尉领尚书事;霍云被封为冠阳侯。

霍家被彻底麻痹了，霍光的老婆开始大兴楼宇，不甘寂寞地与美男子冯子都玩性爱游戏。霍禹、霍山、霍云则纵情于打猎。霍云甚至连班也不想上了，经常随随便便就派一个老仆人到皇帝跟前请病假，实际上是跑出去打猎了。

看到这一切，汉宣帝暗暗高兴，他开始一步步地收拾霍家了。他采取的第一步措施是把皇宫的兵权夺回来，为此，他采取了轮岗的办法，将霍光的女婿掌握未央宫部队的范明友调任光禄勋，将二女婿任胜调任安定太守。几个月后，又将霍光姐姐的女婿张朔调任蜀郡太守，孙女婿王汉为武威太守。又过了一段时间，又把掌握长乐宫兵权的霍光的大女婿邓广汉调任少府，彻底解决了霍家对皇宫的威胁。