汉宣帝采取的第二步措施是解除霍家的兵权。对霍禹，给了他一个荣誉性的大司马衙，却收了他右将军的兵权。对范明友，只让他干光禄勋，却收了他度辽将军的印信。霍光的中女婿赵平骑都尉的兵权也给收了，总之，凡是以前被霍家把持的胡越骑兵、羽林军及未央宫、长乐宫卫将屯兵一概交由他的许皇后还有他外婆史家的亲信掌握。

可怜的是，到了这个时候，霍禹还认不清形势，居然闹情绪，干脆自称生病，不上班了。他的一个老部下任宣去看他，问他得了什么病，霍禹牢骚满腹地说：“我有什么病，当今皇帝要不是我家老爷子，他能当得了皇帝!现在我家老爷子坟上的土都还没有干呢?他就把我家人全部赶出京城了，权力也全部交给了许家和史家，连我的兵权也给夺了，叫人哪能咽得下这口气?”

任宣说：“你还想象过去那样恐怕是不行了，识时务为俊杰，许家和史家都是皇上的亲骨肉，他不信任他们信任谁呢?你如果这样子想不通，我认为与事无补。”

霍禹这才默然承认了现实，重新上班了。

如果霍家真的接受现实，汉宣帝的报复行为恐怕也就到此结束了，因为后来的事实表明，汉宣帝并不是一个寡恩薄情的人，他的内心对霍光一直心存感激和敬佩。可是霍显坐不住了，她到这个时候才将自己毒杀许皇后的事向霍禹、霍山、霍去和盘托出，全家人这才知道皇帝为什么要一步步削弱他们的兵权了，他们开始频繁的商议对策，最后的结论是只有造反一条路。他们制定的计划是，让太后(霍光的外孙女)请博平君(汉宣帝的外婆)喝酒，然后将丞相等大臣诱来，由范明友、邓广汉等以太后的名义将他们杀死，然后废掉汉宣帝，拥立霍禹当皇帝。

可是早已没有兵权的霍家要实现这个计划，难度可想而知，实际上还没有等他们动手，计划就泄露出去了，霍云、霍山、范明友自杀，霍显、霍禹、邓广汉被活捉后，霍禹被腰斩，霍显、女儿女婿以及与霍家有各种各样关系的总共有几千户人家都被满门抄斩。只有霍成君，汉宣帝念其没有参与造反阴谋，只是将她的皇后废了，没有忍心杀她。

想想霍显真是不值，为了将自己的小女儿当上皇后，杀了无辜的许皇后不说，还连累得霍家几千户人家掉了脑袋，自己的女儿仅仅享受了三年的荣华富贵就被贬冷宫，最后也自杀身亡。

更可惜的是霍去病、霍光一世英名，结果却毁在了这样一个女人的身里，真是令人叹息。