只是先皇死后，刘太妃伤心难抑，也追随先皇而去。这座宫里曾经最热闹繁盛的所在，便渐渐的冷落了下来。直至后来，此处竟然有了闹鬼的传闻，传说有许多宫人曾在夜半时分听到此处有女人的哭声。又有人看到有女子身影飘忽而过。
于是，当年刘太妃并非病死，而是被昔日皇后当今太后赐死的传闻便不胫而走。今上为此大发雷霆，连着杖毙了好几个散播谣言的宫人，那传闻才渐渐止了。只是这桃夭宫由此也越发的荒凉。众宫人明着不敢再说，暗地里桃夭宫闹鬼之事反而越发可信。宫人都远远的避开此地，若是不幸被分来的也都想尽办法企图早日调离，且绝不敢在夜里靠近半步。