“凌烟阁二十四功臣”排名第一的是李世民的小舅子，司徒、赵国公长孙无忌。长孙无忌是初唐正台上位尊权重的人物，其权力超过了其他二十三功臣，历出仕高祖、太宗、高宗三朝，为相三十余年。然而就是这样一位显赫一时的宰相，却被高宗贬于黔州，最终自缢而死。
长孙无忌的败亡，从其名字中就能看出来，当然他在太宗朝时“有忌”的，而到了高宗朝就“无忌”了。
唐太宗临终之前告诉太子李治：“无忌、遂良在，汝勿忧天下！”。然而等到唐高宗君临天下以后，“无忌与褚遂良同心辅政，上亦尊礼二人，恭己以听之。”这句话直白点讲，就是朝政都是长孙无忌和褚遂良说了算，李治只有听话的份。
然而作为一个皇帝，显然不愿意接受这样的局面，唐高宗登基一年，就已经开始策划夺权行动了。永徽元年十月，监察御史韦思谦劾责辅臣之一的褚遂良“抑买中书译语人地。”当天，唐高宗就做出了处罚，把褚遂良赶出了朝廷，改任同洲刺史，这是唐高宗的第一次反击。
而长孙无忌是高宗的亲舅舅，暂时撼动不了他在朝中的势力和威望。而长孙无忌见褚遂良被贬，出言顶撞高宗，自此两个人的关系出现了裂痕。
长孙无忌在高宗朝独揽大权，他对李氏宗族尤其是有才能者尤为忌恨，寻机制造理由加以迫害。唐初宗室里最能打的，李世民的好战友好兄弟江夏王李道宗，因为跟长孙无忌不和，最终被其牵连到房遗爱谋反一案中，诬陷李道宗与房遗爱结交，致使李道宗被发配象州，最终在路上病死。还有深得唐太宗喜欢的吴王李恪，当然李恪之死，显然有唐高宗的影子在里面。
长孙无忌最终招致杀身之祸，还应该归因与在武则天立后之事情上对唐高宗的反对。当然，这并不是一件小事，而是一件关系到当时皇权与世家豪族的政治斗争。李治为什么立武则天为后，很多野史或者戏曲小说中说，是因为李治被武则天迷惑了，其实不然，这里面有很深层次的政治原因。
李治的后宫有这么两个人，一个王皇后，一个萧淑妃，王皇后出自五姓七望的太原王氏，而萧淑妃出自江南四姓的兰陵萧氏，是当时一等一的豪门，她们不仅仅是李治的后宫，还是初唐皇权与士族政治的妥协。
李治想要大打破这种局面，废后立一个没有世家背景，且家道中落的武则天，显然很符合他的利益。然而，这种做法是无法得到他舅舅长孙无忌的支持的，因为长孙无忌代表的是最后一代关陇门阀，长孙无忌如何在高宗朝大权在握的？说到底，除了他的资历威望以外，还有站在他身边的政治集团，造就唐朝的关陇集团以他为首，北方传统士族集团山东士族通过王皇后的关系与他站在一起，而南方士族代表的萧氏，通过萧淑妃也与他取得了政治联盟，等于说，唐高宗要面对的是三大集团的压力。
没有皇帝喜欢士族政治，东晋就是极好的例子，皇帝搞得毫无权威，跟个橡皮图章一样，这是唐高宗不愿意见到的局面，废后的目的不仅仅是清除后宫士族力量，也是借此机会，打击关陇集团。
一个立后事件，不仅仅倒下了一个长孙无忌，还有背后的关陇集团，抓了一大批人，最终整个关陇集团彻底退出了历史舞台。长孙无忌的败亡，其实从他站在皇帝对立面的时候，就已经决定了，除非他真能完全架空皇权，成为像霍光那样的权臣。