大唐咸亨元年正月二十五，高宗与武后率黄门侍郎、甑山县公、同中书门下三品郝处俊以及博陵县男、中书令阎立本前往东都，留下中书侍郎、道国公、检校太子左中护戴至德，黄门侍郎、同中书门下三品兼知左史事张文瓘及中书侍郎、校检吏部侍郎李敬玄等辅佐皇太子李弘监国。
这一次高宗和武后返回洛阳，除了太平公主之外其余诸子全部都没有带走，所以李显和兄长沛王李贤、弟弟冀王李轮（李旭轮，即李旦）等尽皆奉命留在了长安。
而在失去了父母约束下的兄弟三人开始为了名利而展开了各种明争暗斗，一场好戏就此开锣。
李显由于之前曾经受过皇太子的压制，同时还为皇太子出了一个收买名声的主意，虽然这个主意令皇太子损失惨重，但毕竟李弘有愧在先，所以这一次李弘并没有针对李显，至于自己那位八弟李轮生性柔弱，再加上年纪幼小，更是没被他放在心上，因此这一回李弘主要将斗争目标放在了李贤的身上。
其实李贤这个人一直都很不安份，可以说是野心勃勃，渴望着推翻李弘，自己坐上皇太子的宝座，乃是李弘最为忌惮的一个人。
李贤这个人很聪明，有过目不忘之能，更兼容貌俊秀，举止端庄，深得高宗赞赏，高宗曾叫他读论语，当他读到“贤贤易色”（本指对妻子要重品德，不重容貌。后多指尊重贤德的人，不看重女色。）这句话的时候，反复诵读几遍，高宗很奇怪，就问他为何这句话反复诵读，却听李贤说对这句话很是喜欢。高宗就知道李贤尊重贤人，不重女色，心中大为欢喜，对其赞叹不已。
李贤在为人方面，也一直表现得很是谦逊，礼贤下士，恭敬有礼，再加上以王勃、公孙罗、徐齐聃、李邕等知名学者的辅佐，实力跃升得很快，朝中许多不得意的官员纷纷去投靠，一时之间宾客如云，不要说是太子李弘，连武后都有些忌惮。
不过武后为了牵制李弘的力量，虽然本身对李贤不喜，但还是采取了放任自流的策略，根本就没想着要去对付他。
这导致李贤更加的猖狂，尤其是在贺兰敏之死了之后。
由于李贤出生在武后刚刚做了皇后没多久，再加上其他的一些原因，他从小就没在武后身边，反而被姨母武顺养大，因此和贺兰敏之、贺兰敏月兄妹的关系非常亲密，因此这对兄妹也对他很是照顾，当初武后之所以下决心毒杀贺兰敏月，也和这丫头干预政治、企图劝高宗提升李贤麾下名士徐齐聃为司列太常伯（吏部侍郎）有关。
而贺兰敏之则是更加死心塌地的帮助李贤，他当初之所以和武后合作，不惜利用迷、奸的手段对付杨玉舒，以破坏皇太子李弘和司卫少卿杨思俭之间的联姻，主要目的就是借机打压皇太子的势力，以免让李贤看不到希望。
除此之外，贺兰敏之之所以如此痛恨李显，甚至不惜采用暗杀的手段来对付李显，除了自身与李显的仇怨之外，也是看到李显在军中的威望不断提升，隐隐威胁着李贤的地位。甚至贺兰敏之之所以愿意跟他九十岁的外婆做那苟且之事，都是为李贤在着想。
而贺兰敏之和武顺的先后死去，也让李贤对于武后的仇恨达到了顶点，但是李贤是一个有理智的人，他知道自己目前实力不够，想要对付武后那简直就是痴人说梦，所以他要静心的忍耐，他相信凭着武后对权力的贪恋和本人的心狠手辣，皇太子李弘将来一定会遭殃的，而那时便是自己上位的时候。
可是李贤却并不知道，他的实力早已受到了皇太子李弘的猜忌，在高宗和武后刚离开长安没有多久，李弘就利用他的监国权力，唆使他麾下的亲信戴至德、张文瓘等人通过决议，将李贤的亲信礼部郎中公孙罗给逐出朝廷，贬为姚州司马。
这是自从去年他麾下的得力干将、西台侍郎徐齐聃被贬之后的另外一次沉重的打击。
“可恶的李弘，吾并未得罪于你，竟然连亲兄弟都下如此狠手，我李贤在此立誓，将来若不报此恨，誓不为人。”
李贤心中苦闷之下，在府中饮酒以消遣。
就在这时，忽然听得内侍传禀，冀王来访。
李贤闻言大喜，立刻亲自出迎。
在李贤的所有兄弟里面，只有冀王李轮最为老实本分，性情柔顺，为人谦恭有礼，而且注重骨肉亲情，所以是李贤这些兄弟之中最为亲密的一个。