后来呢种世当了凤州的通判，当时凤州有个将领王蒙正是章献皇后刘氏的姻家，是为非作歹、无恶不作。
他以为有皇后做靠山，居然跑去跟种世衡索贿，种世衡没有鸟他。没能索取到贿赂，那个王蒙正非常生气，于是诱使王知谦诉冤而暗中帮助他，种世衡因此被流放窦州，后移居汝州。
后来他弟弟种世材送上一个凭战功换来的官职来替兄赎罪，种世衡才被重新启用，被任命为孟州司马。
过了几年龙图阁直学士李纮为他辩护，宋绶、狄棐相继为他说话，种世衡被才又被擢升、先做卫尉寺丞，后来有东山再起一路从监酒、签书、做到了判官。
当他做到判官的时候，当时的朝廷里党争已经很厉害了。迫于形势也是志趣相投，种世衡便选择站队、拜了一代名相范仲淹做老师，成了范仲淹的学生。
后来正式在范仲淹的提拔、帮扶和相助下，种世衡才有机会奠基种家军、成为一代名将的。