军户制主要缺点有两个，一是容易废弛，国家一旦长年没有战事，军户就会因为军官奴役、掠夺军户妻女、政府加派杂差等产生逃亡，久之就会变得老弱而不能战，有的军官隐瞒逃亡或绝嗣军户不报，私占其土地。到唐的后期，由于府兵制的破坏，唐政府为可战之兵，只能听认藩镇割据。明代更是如此，中期以后卫所兵不能战，不得不大量募兵，参加东南沿海抗倭的部队就包括广西狼兵、湖北乡兵以及烟兵、漕兵等雇来的募兵，有名的“戚家军”也是募兵。
另一缺点，从北朝开始，府兵中产生的军事贵族势力抬头，而南朝宋、齐、梁、陈都由军事政变建立，唐高祖李渊祖父为西魏八柱国之一，参加瓦岗军的李密也是关陇军事贵族，这一状况到唐代，终于演变为以“安史之乱”为起点的延续到北宋的藩镇割据局面，造成了五代十国的空前分裂，世袭府兵养出了一批难治的骄兵悍将。