赤眉军进入安陵前，班超的祖父班稚和外祖父樊叔皮做出了一个惊人的决定，他们命家丁虞四月驾着辎车，带着樊家女公子和班府公子，在赤眉进入安陵前夕的一刹那间，匆匆踏上逃亡行程，从而为班、樊两家保住了一点血脉。
马车飞奔出城邑北门，他们先逃到池阳，然后顺着泾水边的驿道，一路向西北飞奔而去。这一年，班彪二十二岁，虞四月只有二十一岁，而班超的阿母樊儇那时仅有十二岁。
他们从左冯翊的池阳出发，先是顺着泾水旁的官道一路向西北。然后过安定郡的阴槃、临泾等城，翻越凡亭山，过朝那城，巅沛流离、历经艰辛，总算有惊无险，顺利到达高平，并投靠了河东雄狮隗嚣。
隗嚣恰在高平，三辅名人班彪来投，他很是高兴，将班彪延为门下客。
于是，班彪和樊儇便在高平安顿了下来。此时的隗嚣，刚刚将盘踞三水的卢芳打得逃向北地荒漠中，投入匈奴的怀抱。当时的隗嚣已下安定，并完全据有河东、陇右大地，正是他最得意、最辉煌的时候，仅门下宾客就有数千人。
班彪投到隗嚣门下，终日无所事事，只能在长史府从事抄抄写写的零碎杂活，隗嚣从来没有单独召见过他，更别说问计于他了。
虽然倍受冷遇，但从战乱中逃出，总算有了安定之所，班彪虽有怀才不遇的感觉，但还是耐心地呆了下来。没想到的是，这一呆就是四年。虽然他们住在一起，但班彪是真正的读书人，对樊儇秋毫无犯，一直以兄妹礼事之。
隗嚣是当时割据一方的豪杰，他虽然不用班彪，但却令族女隗灵与樊儇一起嫁给班彪。于是，建武五年（公元29年）四月，班彪便按隗嚣令，娶了年已十九岁的隗灵和十六岁的樊儇。
隗灵与樊儇都是知书达礼、美丽贤惠的女人，班彪得二女，自然是人生一大幸事。可班彪过的却一点不开心，隗嚣器量太小，并非有为之主。班彪到河东整整四年，仅是隗嚣门下宾客。平时，班彪根本就无法接近隗嚣，更别说出什么谋划了。
一次，隗嚣破例很虚心地问策于班彪，“叔皮乃三辅名士，史学巨挚，且是前汉世族之后。今天下大乱，不知叔皮对前朝兴废之事，有什么心得可以教吾？”
班彪闻言，心里很是激动。来河东四年了，今日终于有机会直陈已见。于是，他怀着对故国的深深眷念，也带着想报答隗嚣收留自己的感恩之心，当然内心同时也充满自信，侃侃说道：
“大王，自更始之乱始，天下纷争，群雄四起，看似已经改天换地，其实汉祚未灭，天下向汉，他日必兴。今建武帝与成家帝（注：即蜀汉称帝的公孙述）均汉室后裔，臣以为建武大帝已据有中原，且仁德爱民，更有先汉气象，天下已渐归心。大王拥河东之众，如顺应天命，匡扶汉室，必留名青史……”
“汝知往而不知来，真是一派胡言！”
没等班彪激情满怀地说完自己所思，隗嚣实在听不下去了，已经拂袖而起，怫然说道，“天命，哼，叔皮迂腐至极！前汉姓刘，故愚民只记得刘氏姓名年号，汝至于据此就认为汉家一定复兴么？王命是什么，难道天下仅能姓刘？当年秦失其鹿，而天下共逐之。刘季不过偶尔得之，故后便有汉朝。吾想问汝，秦亡之前，黑衣秦民安知有汉朝乎？！”
隗嚣说完，看着目瞪口呆的班彪，拂袖背手而去。
班彪愣在一边，他没想到一直被天下名士拥戴、并素有爱贤美名的隗嚣，气度竟然如此狭小，为人如此猖狂。无凌驾于天下之德，却欲以割据河东为根本，存问鼎天下之心，隗嚣这是走的一条寻死、灭亡之路啊。这次谈话严重打击了班彪的信念，他由隗嚣又想到割据各方的豪强，不禁为黎民百姓深深忧虑。
思虑再三，为尽人臣之事，也为了自己复兴汉室的政治理想，班彪决定押上身家性命，再豪赌一把，拚死一搏。
建武五年（公元29年）秋，为劝导隗嚣，班彪专门写作一篇《王命论》，呈送隗嚣。在《王命论》中，他阐述了自己对时事的认识。
他认为，大汉天下是继承唐尧，有灵验的王符作证，王者登上宝座，不是凭欺诈便能成功的。秦失其鹿，时天下英雄蜂起，而惟刘氏能得知之，此即天命也。自古问鼎天下者，无不借天时天利人和，方能成大业。而今天，天下感念汉恩，痛恨祸乱天下者，此时欲通过割据来谋天下，必被万民唾之，是成功不了的。
《王命论》是中国历史上一篇重要的政论文献，它的历史地位不容忽视。但文章的语气过于严厉，观点也过于犀利，因而自然也给班彪一家带来了杀身之祸！
简书呈献给陇右王隗嚣后，刚愎自用的隗嚣根本就听不进班彪的良言，《王命论》被束之高阁。
几天不见动静，班彪痛苦地意识到，隗嚣不识时事，狂妄如井蛙，必不得善终。而他自己投奔河东、匡扶汉室的理想，已经付注东流。良禽择木而栖，生逢乱世，当隗嚣已经不能为其所倚时，他决心另寻明主了。
当时，隗嚣率大军住三水城，倚河东兵锋直指河（注：即黄河）对岸。而窦融率大军住武威郡朴箚城，河东和河西军隔河相拒。虞四月已悄悄侦测到，隗嚣担心班彪有离心，即将动手了。于是，班彪先派虞四月偷偷至北地郡的富平城，并夜晚乘着羊皮筏偷渡过河，送信到河西。