但是，他找错人了。甄阜对他委城而逃的做法非常不满，甄阜心高气傲，自视甚高，他不允许有官员逃遁的现象。于是拘押了岑彭的家人，命令岑彭在自己帐下戴罪立功。然后率领军队征剿汉军，不久，在小长安，甄阜大败汉军。
公元二十三年正月十三日，甄阜与汉军在沘水大战一场，莽军大败，甄阜被杀，岑彭受伤，但是他侥幸逃脱，跑回宛城，协助代理太守严说守城。光武帝的哥哥刘伯升率军将宛城团团围住。
宛城防守很严，汉军从一月份一直攻打到六月份，始终没能攻破。此时城里的岑彭和严说其实压力也非常大，不过他们得到消息，朝廷已经派出大军前来灭贼，而且这次出师规模之大，旷古绝今。“大司徒王寻、大司空王邑将兵百万，其甲士四十二万人，”“王莽征天下能为兵法者六十三家数百人，并以为军吏；选练武卫，招募猛士，旌旗辎重，千里不绝。时有长人巨无霸，长一丈，大十围，以为垒尉；又驱诸猛兽虎豹犀象之属，以助威武。自秦、汉出师之盛，未尝有也。”他们把希望寄托在了中央军身上。
结果六月份，百万雄师在昆阳败于刘秀之手，岑彭他们的希望泡汤了。而且因为长时间的围城，城里粮食断绝，人吃人的事情越来越多。岑彭扛不住了，劝严说投降。
投靠汉军之后，岑彭先后跟过大司徒刘伯升，跟过大司马朱鮪，跟过南阳太守韩歆。其时光武已与更始帝决裂，率军攻打南阳郡。韩歆打算拒敌，而岑彭又一次劝说投降。
守节尽忠是一种高贵品质，而良禽择木而栖则是一种人生智慧。大难当头，有人选择像苏武那样宁死不屈，保住节操，有人选择像管仲那样选择明主，施展才能。另选明主似乎更难，因为你必须有才能，若只为偷生，其实终究难脱贪生怕死之名。韩歆和岑彭，都非贪生怕死之辈。韩歆为人正直，性格倔强，后来跟光武帝说话，也是指天骂地地发咒，比西汉名臣汲黯是有过之而无不及。
岑彭建议归顺，可是韩歆倔强，就是不听，直到光武帝攻占怀县，他势穷力尽，才匆匆忙忙地迎降。差点儿被愤怒地光武帝给处死。
在归顺光武帝之后，岑彭游说更始大将军吕植投降了汉军，立下了第一功，被光武帝拜为刺奸大将军。公元前二十五年，光武帝即位后，任命岑彭为廷尉，至此，岑彭终于找到了命中的归宿。
公元二十五年七月，岑彭与大司马吴汉、大司空王梁等人率军围攻洛阳。洛阳曾是周朝旧都，城坚且高，汉军从七月一直攻打到九月，丝毫没有进展。替更始帝守洛阳城的是他的大司马朱鮪。此时赤眉已入长安，更始政权已经名存实亡，大将们纷纷背离更始帝，另择明主。朱鮪之所以坚守不降，是因为当初他曾经劝更始帝杀掉光武帝的哥哥刘伯升，而且还曾经劝更始帝一定要防着刘秀，不要派刘秀持节安抚河北。他深知自己做过太多对不起光武帝的事情，担心万一投降，光武帝肯定会处死他。
汉军久攻不下，光武帝知道岑彭曾经做过朱鮪的部下，让他出面去游说朱鮪。经过一番努力，岑彭成功地将朱鮪说动，为光武帝又立下一大功。
这两次功劳，其实并没有显露出岑彭在军事上的才能。游士一出，扰动天下，岑彭不是游士，他有更杰出的才能，只是需要机会来展露。
很快，机会来了。建武二年，公元二十六年，光武帝派岑彭平定荆州。岑彭顺利地攻下十几座城。贤士之处世，譬若锥之处囊中，很快即可脱颖而出。
之后，一个更艰巨的任务来临了。此时南方军阀割据，南郡人秦丰占据黎丘，自称楚黎王，拥有十二个县；董䜣占据着堵乡；许邯占据着杏县；除此之外，更始诸将各拥兵占据南阳诸城。光武派吴汉南征。
吴汉是一位不可多得的将才，作战勇猛，才智过人，可惜此人太过暴虐，所过之处无不残灭。他经过新野，照例纵兵大掠。他的同僚邓奉是新野人，碰巧邓奉回乡，见家乡被吴汉抢掠一空，一怒之下击败了吴汉，与其他割据势力联合反汉。邓奉率领的是汉军精锐，汉军多个将领联军都未能将其击败。后来光武帝亲自出战，才打败了邓奉。
这个插曲结束后，光武帝派岑彭平定秦丰。此时岑彭已经是征南大将军，他与傅俊、臧宫等人率军在邓县跟秦丰相峙，几个月都不能前进。光武帝不满了，派人前来责让他。岑彭压力山大，但是他很快就有了主意。