昆阳一战，敲响了王莽政权的丧钟。王莽坐立不安，忧懑不食。同时，海内豪杰蜂拥而起，杀掉州郡官吏自称将军，接受更始帝年号，等待诏命。王莽的一些心腹，策划杀掉王莽投降汉朝，保全宗族。正当这时，新市、平林起义军的将领们看到刘演、刘秀兄弟的威名日益扩大，心中不安，劝刘玄除掉他们，甚至连本来与刘兄弟关系密切的李轶也转而谄事新贵。而刘手下的人对刘玄当皇帝之事一开始就不服，有人说：“本来起兵图大事的是伯升(刘字伯升)兄弟，现在的皇帝是干什么的?”公开拒绝刘玄的任命。于是，刘玄就借封刘部将刘稷为抗威将军而不受之故，把刘稷及为他说情的刘演杀掉了。对此，刘秀深感不安，赶紧跑到宛城请罪。刘部下去迎接他，慰问他，他只是在公开场合下寒暄几句，表示过错在自己，但他不与这些人私下交流，不讲昆阳的战功，不为哥哥服丧，饮食言笑与平常一样，若无其事。刘玄见刘秀没有反对他的意思，感到有些惭愧，拜他为破虏大将军，封武信侯。而刘秀每当独居，总是不喝酒、不吃肉，以此寄托哀伤，他只能得到后来的光武皇后阴丽华的安慰。

公元23年9月，刘玄的军队相继攻下了长安和洛阳。刘玄打算以洛阳为皇都，便命刘秀先行前往整饬吏制。刘秀到任，安排僚属，下达文书，从工作秩序到官吏的装束服饰，全恢复汉朝旧制。当时，关中一带的官员赶来迎接皇帝刘玄去长安，他们见到刘玄的将领们头上随便包一块布，没有武冠，有的甚至穿着女人衣裳，滑稽可笑，没有庄重威严的样子，但他们见到刘秀的僚属肃然起敬。一些老官员流着泪说：“没想到今天又看到了汉朝官员的威仪!”他们纷纷对刘秀产生了敬佩向往的心理。

刘玄到了洛阳，需要派一员亲近大将代表朝廷去河北一带，宣示朝廷旨意，要那里的郡国遵守朝廷的命令。朝廷经过一番争议，最终又选定了刘秀。这给刘秀提供了避开矛盾漩涡、自由施展才干的机会。刘秀在河北，每到一处都认真考察官吏，按其能力的高低分配财富的多少;平反冤狱，释放囚徒;废除王莽苛政，恢复汉朝的官衔。官民欢喜，竟相持酒慰劳，刘秀一律婉言相拒。在河北期间，刘秀还粉碎了一起假冒汉成帝之子另立朝廷的反叛事件，王郎就参与其中。刘秀在清理缴获的文书档案时，发现官吏与王郎勾结一起毁谤刘秀的材料有几千份。要是按这些材料提供的线索加以追究，必然会使一大批人惶恐不安。刘秀一律不看，他把王郎的部属召集起来，当着他们的面一把大火将这些材料烧掉。他解释说，这样做是“令心怀不安的人放心”。 更始帝见刘秀的影响越来越大，便派使节赶到河北，封刘秀为萧王，并命令刘秀停止一切军政活动，与有功的将领一起到长安去。这表明刘玄已经对刘秀不放心，要削弱他的力量，夺回他的权力。刘秀自然明白这一意图，他便以“河北未平”为理由，拒绝应诏去长安。刘秀与刘玄的裂痕从此开始清晰起来。

公元24年秋天，刘秀调集各郡兵力，先后在馆陶等地击败并收编了铜马、高湖、重连等地的农民起义军，大大加强了自己的军事实力。

河北一带大致平定。以樊崇、逢安、徐宣等人为首活动在今河南东部的赤眉军，正在迅猛地向长安进兵;赤眉一旦攻下长安，刘玄败逃，就会出现一个夺取关中的良好时机。刘秀感到争夺天下的时机即将到来，争夺天下的架势应当拉开了。他便一边派将军邓禹率精兵两万向关中一带进发，相机行事;一边选定北据太行山、南临黄河、地势险要、财物富实的河内郡作为进

取中原的立足点。他先用文武兼备的良将寇恂任河内太守，冠以“行大将军事”的御号。他向寇恂交代任务说：“从前汉高祖与项羽争天下，把萧何留在关中，我现在把河内交给你。你的任务，是像萧何那样保证粮草供给，训练士兵和战马;阻挡其他军队到这块地盘上来，特别是不让黄河以南刘玄的军队过来。”后来寇恂果然不负重托。刘秀又在孟津部署重兵，窥视洛阳。