公元前74年，汉室官员因为皇帝刘贺的无法无道，官僚集团想“废旧立新”，且沿袭了前朝吕后的做法，有旧例可循，这个让位建议是全体高级官员提出的，并被皇太后（霍光的外孙女）批准。
刘询就是在这种背景登基的，在霍光死后，霍氏家族还想以“废旧立新”来控制新的皇帝刘询，由于霍氏家族的逾越之举，使当朝皇帝与霍氏家族的利益出现了冲突，皇帝与霍氏家族不可避免产生政治斗争。
刚登基时，朝廷仍牢牢地被霍光控制；霍光的至亲和助手控制着禁军；他的儿子霍禹和侄孙霍山是朝廷的领袖。刘询只能避其锋芒，对霍氏采取怀柔拉拢的手段。
为了防止霍氏权力进一步扩大，在宣帝继位，围绕皇后大位问题上，宣帝坚持以结发妻子许平君为皇后，而不是大多数人赞同的霍光的女儿。
为此，宣帝下了一道莫名其妙的诏书，声言自己在贫微之时曾经有一把旧剑，现在自己十分地想念它，众爱卿能否为他将其找回来。这里的“旧剑”暗指许平君。群臣会意，开始一个个请立许平君为皇后。
这就是“故剑情深”的典故。
公元前71年，霍氏为了能争取到皇后之位，霍光的妻子霍显与御用女医淳于衍勾结，在许平君产下一女后，在滋补汤药中加入附子，让其服用。许平君毒发身亡，汉宣帝异常悲痛，追封许平君为“恭哀皇后”。一年后，霍光之女霍成君如愿以偿取代她为后。
此后，汉宣帝一直韬光养晦，暗中积蓄实力。但霍家人却日益骄横，不将任何人放在眼里，霍氏家族人虽然身居高位，却不懂得为官之道，“朝请”时却“数称病私出”，“朝谒”也叫“苍头奴”代劳，最后连家奴都狗仗人势，竟因与人争道而入御史府踢大门，还动不动扬言“县官（指汉宣帝）非我家将军（指霍光）不得至此”。
这让贵为天子的刘询忍无可忍，于是：
宣帝解除了霍光两女婿东宫、西宫卫尉的职务，将禁军的权力攥在自己的手中；
将霍光的两个侄女婿调离了中郎将和骑都尉的职位，让自己的亲信担任南北军和羽林郎的统帅，将兵权掌握在自己手中；
还提拔霍光的儿子霍禹为大司马，明升暗降，剥夺他的实权，其右将军屯兵的权力从此付诸东流；
为了架空霍山、霍云领尚书事的职务，大力改革上书制度，下令吏民上书，直接呈皇帝审阅，不必经过尚书。
当霍家人发现自己的权力被剥夺殆尽，又想到宣帝对许平君的深情，霍家还将其谋害，惶恐之下，霍家决定铤而走险，举行叛乱，推翻汉宣帝，保住既得利益。
他们设计了两次阴谋，一次设计谋害丞相，一次是废黜皇帝而以霍禹代替，两次都企图以太后的名义颁布，但都被汉宣帝知道了，霍家的霍禹、霍山、霍云都被杀或自杀。而阴谋毒害太子刘奭[shì]的霍成君也被废掉，最终在云林馆自杀了。
刘询终于为发妻报仇了，在西汉王庭盘踞十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治。
