建武十二年（公元36年）十二月，公孙述的首级诣洛阳。随后，刘秀遣使申名大司马吴汉：访求贤良，诏表志节之士。
吴汉自悔劫掠过甚，努力遵命照办。李育、程乌等公孙述旧将，择才使用，追赠劝降不成、忧郁而死的公孙述文臣常少为太常，张隆为光禄勋，旌表闾里。招陇、蜀百姓被掠为奴婢自讼者以及狱官未报者，一律免为庶人。至此，吏民悦服，先前的怨恨顿时烟消云散，蜀地臣服归汉。
汉军东宫西征、南伐北战，四方基本告平，剩下的只有一个潜用帝号、伪称刘文伯的芦芳。同年，刘秀遣谒者段忠率各郡减刑者归配杜茂，镇守北边。杜茂发边卒筑亭侯，修烽火台，又发委输金帛缯絮供给军士，并赐边民，冠盖相望。推广屯田，开荒自种，粮谷丰收，驴车运转。
芦芳垂涎边地物产，亲率贾览进攻云中，留大将随昱守九原。云中久攻不下，随昱欲胁芦芳归降。芦芳知羽翼外附，劲旅心离，尽弃辎重，与十余骑逃入匈奴，余众尽归随昱，随昱便派使者程恂去洛阳诣阙。
刘秀既往不咎，拜随昱为五原太守，封镌胡侯，继使随昱阻挡胡人掳掠，为朝廷社稷建功，颇含深义。
随着芦芳逃入匈奴，其所占城邑纷纷来降。雁门人贾丹、霍匡、解胜等，常被尹由欺辱，尹由为帅，共守平城。贾丹等共杀尹由，肉袒诣郭凉。郭凉具表上奏，皆封为列侯。紧接着，郭凉诛杀豪右郇氏，镇抚百姓，旬月间收服了雁门。然而随着各地归降，突然之间增多了大量的奴婢，对于如何安置这些奴婢，刘秀问计于众臣，有些臣子上疏说可仿昔日齐桓公设女闾。
刘秀看过奏疏，余光触及正在一旁磨墨的阴丽华，目光自然而然落到了阴丽华身上。一时兴起，他问阴丽华：“对于设女闾一事你如何看？”
正在磨墨的阴丽华顿了一下，须臾又继续磨墨，思考之后，她回道：“若为天下计，可设女闾；若为文叔计，倒大可不必。”齐桓公设女闾乃是她的先祖管仲所献良策，她自是知道的。
昔日管仲设女闾，并非为了淫乐，亦非异想天开，而是有一定的政治与经济的目的：
第一，为国家增加收入，置女市收男子钱入官，即后世所谓“花粉税”、“花粉捐”。所以清朝的褚学稼说：“管子治齐，置女闾七百，征其夜合之资，以充国用，此即花粉钱之始也。”
第二，缓和社会矛盾，即一方面不要使许多男子有无处发泄****的苦恼，另一方面使大量女奴隶得以适当安置。如《韩非子?外储》说：“桓公见民行年七十而无妻，以告管仲。对曰：‘臣闻上有积财，****必匮乏；宫中有怨艾，****有老而无妻者。’桓公曰：‘善。’令于宫中女子未尝御者出嫁之，乃令男子年二十而室，女子年十五而嫁。”这一来，使社会上有些男子无妻的矛盾缓和了。同时，当时桓公称霸，在征战中俘获他国女子很多，国内还有些罪犯女奴隶，把她们安置在妓女中，可进一步解决社会上一部分人的需要。
第三，吸引游士。当时各国诸侯争雄，齐国要称霸，必须网罗人才，用游谈之士，管子相齐，已开布衣卿相之局，可是这些游士大都是生活放荡不羁的人，喜爱妇人与醇酒，于是开设妓院就成了吸引他们的一种手段。燕太子丹也有类似的做法，他为了招揽人才，吸引游士，挑了一批美女安置在旅馆中，每有宾客经过，就派这些美女招待、侍宿。
第四，供齐桓公娱乐。齐桓公好色，宫中的妻妾玩腻了，还要出来寻求刺激。《韩非子?外储说右上》说：“桓公之伯也，内事属鲍叔，外事属管仲，被发而御妇人，日游于市”，就说明了齐桓公好冶游。管仲创设妓院也有投齐桓公所好的成分。
刘秀对此亦是知之甚深，听了阴丽华的回答，并没有说什么，至于他设了女闾，是存着一己之私还是全心为天下计，那就不得而知了。阴丽华对此也没有过问。
这一年，刘阳八岁，师从经学大师桓荣，因其天资聪颖，又恭谨好学，甚得刘秀、桓荣等喜爱，往日里每有疑问处，总爱请教阴丽华，可近日来刘阳异常沉默，显得一副心事重的模样。阴丽华为此特意打听了一番，方知，原来几日前刘辅跑去向刘阳炫耀了一番所学，用自己所学之得把刘阳问得哑口无言，进而为此得意不已，并加以嘲笑，刘阳因此深受打击，却未曾向阴丽华提及。
阴丽华这一日膳后独留下刘阳，挽着他的小手漫步小道上，她问刘阳：“阳儿，近日尚在习《生民》？”
“尚在习《生民》。”刘阳似乎有些羞于回答。（《生民》出自《诗经》之《大雅》）
阴丽华闻言，笑道：“母妃闻玉姑姑言，阳儿常为桓先生赞许，此事可真？”
“非也。”刘秀当即反驳道，似是对此很有意见。
阴丽华停下脚步，慢慢地端下身，看着刘阳问：“阳儿为何否认？”
刘阳抿了抿嘴，低声回道：“儿臣窃以为先生不过随意夸言罢了，桓先生若是真心赞许，为何不肯每日教予儿臣多一些学问？”
“阳儿为何要如此请求？”阴丽华温言问道。
刘阳看着阴丽华，满脸慈爱，憋在心里的话不禁脱口而出，“只因二皇兄所懂学问甚多，儿臣比之不及，儿臣想下次能回答二皇兄所问，不为二皇兄嘲笑儿臣愚蠢。”
阴丽华伸手轻轻抚摸