随着隗恂一起来到洛阳，抛弃了隗嚣的还有一大批人：马援、郑兴、杜林、申屠刚…剩下的便是一班贪功邀利的武将。部将王元便来乘机怂恿隗嚣“今南有公孙述，北有卢芳，天下间还有王公十数，大王为何要轻信儒生之说，弃千乘之尊，羁旅危国，希求万全呢？现在天水郡兵精粮足，我愿为大王东封函谷关。大王可畜养士马，据隘自守，以待天下之变。就算帝王之业不成，也足以称霸一方。总之，大鱼不可脱于深渊，神龙失势便同蚯蚓，愿大王三思”隗嚣再次被王元说动，可儿子已送出去给人家做人质了，这该怎么办呢？
隗嚣再派周游出使洛阳，探听虚实。可谁知周游才入关中，经过冯异的地盘，就被仇家所杀。这下谣言纷起，说冯异有自立为咸阳王的野心，不服汉命，故杀嚣使。还有人专门上书弹劾冯异。冯异也上书请求交回兵权，回洛阳养老。刘秀却专门下诏安慰冯异“将军与朕，义为君臣，恩犹父子。何嫌何疑，而有惧意”并派宋嵩西行入关，将这些弹劾奏章全部送给冯异。然后对冯异说“将军想回洛阳，那就来一次吧。正好朕也想和你商量商量如何对付隗嚣与公孙述呢”
王莽末年，天下****趾诸郡皆闭境自守。交趾牧邓让与岑彭关系不错，刘秀便让岑彭给邓让写信，劝其归顺。又派偏将军屈充移檄江南，班行诏命。于是12月，邓让率江夏太守侯登、武陵太守王堂、长沙相韩福、桂阳太守张隆、零陵太守田翕、苍梧太守杜穆、交趾太守锡光这七郡太守一起遣使奉贡。刘秀把他们全封为列侯。汉中人锡光在交趾教民夷以礼义。刘秀任命的九真太守任延教民耕种嫁娶。史称“岭南之华风，始于二人”
汉元帝时，莎车王延曾在长安为侍子，慕乐中国。王莽之乱，匈奴重新崛起，重新控制西域。只有延不肯附属匈奴，常对儿子们说“当世奉汉家，不可负也”本年，延去世，其子康继任莎车王。率各邻国起来抵抗匈奴，重新拥戴汉朝原西域都护。并檄书河西，探问中国动静。当时身在河西的窦融便以刘秀的名义，封康为汉莎车建功怀德王、西域大都尉，西域55国纷纷归属。
本年，刘秀下诏访求高士，得周党、王良等人，三征始至。周党入见光武帝刘秀，虽然跪伏，却不呼谒，自言山野布衣，不谙政事，仍请放还。刘秀让他退朝候命。博士范升上疏指斥周党、王良、王成等人是大不敬。刘秀下诏“自古明王圣主，必有不宾之士。伯夷叔齐不食周粟，周党不受朕禄，不过是人各有志。赐周党帛40匹，遂其所愿”
王良则先后任官沛郡太守、太中大夫、大司徒司直，始终在位恭俭，布被瓦器，一如寒素之时。妻子不入官舍。司徒史鲍恢曾路过王家，当时王良妻子刚从田间耕作回家，鲍恢错把她当成是王家佣妇“我是司徒府的人，与王司直是同僚。路过此地，欲拜见司直夫人”没想到对方答道“我便是啊”惊得鲍恢急忙下拜，并问王良的妻子可有什么家书托自己带去。王良妻子答道“在官言官，不敢以家事相烦”鲍恢叹息而还。后来王良因病辞归，病愈后应征复起。路过荥阳时去探访故友。故友不肯出见，但传话道“未有忠言奇谋而窃取大位，岂不可耻？奈何尚仆仆往来，不自惮烦呢”王良听了此言，未免自惭。于是决定谢病归乡，此后连征不应。
还有王霸被征召来见刘秀时，自称姓名却不称臣。有司诘问。王霸答道“天子有所不臣，诸侯有所不友。原是儒生本份”当时伏湛免官，刘秀要任命侯霸为大司徒时，素重王霸之名的侯霸情愿退位让贤，王霸却乞病告归，偕妻逃隐。茅屋蓬户，安享余年。
《后汉书·逸民传》还记载了野王二老、向长、逢萌等人的事迹。而其中最著名的当属耕钓富春山中的庄光庄子陵先生（后避汉明帝刘庄之讳，改庄为严）严光本是刘秀游学长安时的同学。刘秀即位后，在天下到处找他。总算天下无难事只怕有心人。有人奏报：在齐国境内有一男子，身披羊裘，垂钓河边，面貌与图画上相似。刘秀大喜，当即命人备厚礼前往征召。却没想到对方不认自己就是严子陵，反说“朝廷误征”三请三却之后，严光被强行架上车，来到洛阳。刘秀与严光故人相见，分外喜悦，坚请严光出山相助，严光坚决不允。当晚，刘秀留严光同寝，严光把自己的脚搁在了刘秀的肚子上，好一会方才移去…
第二天，太史入奏“昨晚有客星侵犯帝座，状甚危迫”刘秀大笑道“朕与故人共卧，难道便上应了天象吗”刘秀想封严光为谏议大夫，严光坚不肯受，也不与刘秀辞别，径自返回富春山中，过那耕钓生活。后人将严光钓鱼处称为严陵濑，传颂千古。建武17年，刘秀又征召过严光一次，严光依然拒绝，最后以80高龄寿终于家。
30年1月16日，刘秀将自己的家乡南阳郡蔡阳县的舂陵乡升为章陵县，世世免除徭役。如225年多前汉高祖刘邦的丰、沛故事。
1月，马成攻下庐江郡舒县。淮南王李宪在逃走的路上被帛意杀死。帛意投降后，被刘秀封为渔捕侯。
2月，吴汉攻下东海郡朐县。海西王董宪、东平王庞萌从城中逃出，欲向北袭取琅琊郡赣榆县，被陈俊所败。与数十骑夜逃。后来董宪被韩湛所杀、庞萌被黔陵所杀。刘秀封韩湛为列侯、封黔陵为关内侯。
建武6年（30）2月，诸将纷纷返回京师洛阳，刘秀置酒赏赐。刘秀的心头像卸下了一块巨石，终于舒服地呼出了一口闷气。到现在为止，刘秀参加革命已七年多了…七年一瞬，一幕幕雄壮的历史画面闪现在眼前。人生有几回出生入死，见证过一幕幕历史壮剧，然而刘秀却以非凡之势，见证了历史车轮前进的残酷性！
王莽、刘玄、刘盆子、王郎、刘永、张丰、彭宠、窦融、秦丰、刘纡、张步、李宪、董宪、庞萌…这许多故人犹如风中落叶，一片接一片的离去。大雁从天空中飞过，天空却没留下它们的痕迹。他们来到这个世上，却全都做了刘秀的嫁衣裳！
现在放眼天下，只有卢芳、隗嚣、公孙述(延岑、田戎)三人，还是刘秀的对手。而天下的其他地区，都已一统在东汉王朝的版图之内！
多年征战，刘秀已很累了，好想就此打住。但这可能吗？还有两个可怕的对手，就像两把利剑悬挂在他头顶上晃来晃去，刘秀做梦都感觉到利剑杀气逼人。
刘秀这两个对手都堪称极品。先说第一个：隗嚣！