建武十七年（公元41年）冬季，刘秀决意废黜郭圣通，诏书拟好之后，刘秀秘密传令大长秋准备封后大典之事，并命阴兴从旁协助。阴兴得知刘秀要废黜郭圣通而立阴丽华为后，第一反应便是要劝谏。
刘秀了解阴兴，在阴兴屈膝之时，刘秀便说：“朕意已决，爱卿不必多言。”
阴兴内心自然对此自是喜而乐见，劝谏不过是明面上应该有的姿态罢了，既然刘秀言已至此，阴兴自是顺势没有劝阻刘秀废黜郭圣通，不过对于封后大典他还是要进行劝谏，他对刘秀说：“虽然陛下已有决断，然微臣还是请陛下三思而行。倘若陛下仍不改初衷，执意废黜王后，便请陛下莫举封后大典，乃因一来微臣亡母与亡弟忌日将至；二来举之，于陛下与阴贵人皆不适宜。”
阴兴所言，刘秀其实也想过，只是他不想委屈了阴丽华，所以才决定举行封后大典，不过阴邓氏与阴欣的忌日倒是被他疏忽了，如此一来，刘秀自是再次感到踌躇，他说：“立后乃是大事，朕不想委屈了贵人。”
阴兴却说：“贵人素来恭俭，若知陛下此心已足矣。”
刘秀听来，细细一想，觉得阴兴所言言之有理，阴丽华素来不喜欢铺张浪费，庆典于阴丽华而言也许根本就不重要，心意才是阴丽华素来看重的，既然时不可为之，刘秀只能在往后的时日多加补偿阴丽华。
十月十九日，刘秀下旨废黜王后郭圣通，立贵人阴丽华为王后，诏曰：王后怀执怨怼，数违教令，不能抚循它子，训长异室，宫闱之内，若见鹰鹯。既无关雎之德，而有吕、霍之风，岂可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持节，其上王后玺绶。阴贵人乡里良家，归自微贱。‘自我不见，于今三年。’宜奉宗庙，为天下母。主者详案旧典，时上尊号。异常之事，非国休福，不得上寿称庆。
至此，满朝无声。私宠和政治缘由不必深说。
唯有崇尚忠直的太子太傅张湛，称疾不朝。刘秀强起大司徒而不得。沉默是为抗争，沉默更是为洞悉。十七年郭后既废，太子之去，还会远吗？在意志无可转移的现实面前，这位太子太傅，自毁形象，当堂便溲，自断仕途。
与此同时，太子讲师郅恽对刘秀上言道：“臣闻夫妇之好，父不能得之于子，况臣能得之于君乎？是臣所不敢言。虽然，愿陛下念其不可，勿乱大伦，使天下有议社稷者。”郅恽借用司马迁的名句，既“婚姻关系的缔结，夫妇之间的相处，好的，可以兴夫旺国，不好的，可以毁家灭国”，来向刘秀表明：夫妻之间，儿子不能控制父亲的，更何况臣子对皇帝呢。所以我不敢就这样的夫妇私事发表看法。但是，希望陛下考虑这是不可以的，并且不要乱了大伦（夫妇之伦），而让天下对社稷多有议论啊。
刘秀对此回道：“恽善恕己量主，知我必不有所左右而轻天也。”意思是说绝对不会再次出现这种违背人道大伦的行为。
随后，刘秀封郭圣通的儿子右翊公刘辅为中山王，封废后郭氏为中山王太后，居北宫，以常山郡划给中山国，以二郡奉养郭圣通。使郭圣通成为两汉历史上第三个皇帝没死而封“太后”的女人。同时也对郭后的娘家进行安抚。郭况徙封大国，为阳安侯。郭圣通从兄郭竟，以骑都尉从征伐有功，封为新郪侯，官至东海相。郭竟弟郭匡为发干侯，官至太中大夫。郭圣通叔父郭梁，早终，无子。包括郭姓的外戚女婿婿南阳陈茂，以亦被封为南*侯。自此以后，虽然郭圣通没了后位，然郭家仍圣眷正隆。
郭圣通遭废黜，由西宫迁至北宫，此事并非好事，所以只是没有人回到北宫恭贺郭圣通乔迁，只是郭圣通在离开西宫之前，见到了许久不见的的阴丽华。看到风华依旧的阴丽华，郭圣通心里虽嫉却仍能沉住气，含笑相迎。“参见王后。”
阴丽华连忙伸手走向前将郭圣通扶起，她对郭圣通说：“中山王太后不必多礼。”
“中山王太后”这一称呼让郭圣通身子一僵，继而灵巧的脱开阴丽华的双手，恭顺地后退些许，不发一言。
阴丽华沉默地看着恭顺地站在她面前的郭圣通，心里并没有感到丝毫快意，虽然今日看似她赢了，实则她并没有赢，郭圣通以退为进，为自己挣到了自由，为郭氏一族赢得了荣华富贵。阴丽华此时此刻也分不清对郭圣通是恨是敬，良久她才对郭圣通说：“中山王太后迁宫有任何需要，尽管报予大长秋。”
郭圣通平静地回应道：“谢王后隆恩，妾没齿难忘。”
阴丽华闻言，莞尔一笑，道：“昔日中山王太后待本宫颇为眷顾，本宫今日不过是礼尚往来罢了。中山王太后请放心，往后只要有本宫在，定能使你度日如意。”
郭圣通为此不禁在心里冷笑一下，面不改色地回道：“妾在此先谢过王后。”
阴丽华见郭圣通并没有丝毫动怒的迹象，不由得为之侧目，这一刻，阴丽华终于相信昔日沉稳睿智的郭圣通回来了，也许是经过了时间与拘禁的洗礼，郭圣通变得比以往更为深沉，由此，阴丽华清楚地明白自己接下来的路会比之前更难走。她深深地看了一眼郭圣通，然后扬声吩咐众宫人：“即日起，待中山王太后如同本宫，若有怠慢者，按大不敬之罪治之。”说罢，款款转身离去。
郭圣通看着阴丽华离去的倩影，嘴角边露着淡淡的微笑，心