浙西、浙东新四军及当地党政干部北撤后，永乐人民抗日自卫游击总队成为留在浙江境内唯一公开的革命武装，国民党军队对永乐游击总队围追堵截，总队的给养也发生困难。中共浙南特委根据浙江新四军北撤后的形势和上级党组织有关隐蔽精干的指示，适时转变斗争方式，浙南特委决定，对永乐游击总队实行精简。

1945年11月20日，浙南特委发出《对江北的指示》，提出此后的基本任务是：“坚持执行隐蔽精干政策，保存积蓄力量，坚持阵地，渡过困难，最后达到配合全国、争取和平民主与团结的实现。”永乐游击总队精简的原则是：（1）精简一般人员，保留骨干，缩小目标；（2）精简下来的人员，交由区委和党支部安排，有的作为区委的工作人员，有的回家生产，有社会关系可以利用的，则在游击区周围找职业掩护，从事秘密工作；（3）多余的枪支弹药要妥善保管，以备后用；（4）精简后的部队组成若干精干的武工队，分散隐蔽活动。

12月5日，浙南特委派曾绍文到永（嘉）仙（居）边永乐游击总队部传达浙南特委指示。7日、11日，瓯北中心县委和永乐游击总队分别在仙居上景村、章山村召开主要干部会议，统一认识，讨论如何贯彻特委指示。决定严格执行隐蔽精干政策，切实转变斗争方式，宣布撤销“永乐人民抗日自卫游击总队”的番号和建制，采取以武装工作队的组织形式开展工作。

会后各中队相继就地精简，保留骨干，组成永（嘉）仙（居）黄（岩）、永（嘉）青（田）缙（云）、屿北、永（嘉）青（田）边、蓬溪、五尺、东港、机关警卫队等8支武装工作队，深入括苍山区，巩固老区，开辟新区。海上大队建制不变，但队员也适当精简，继续坚持在乐清湾诸岛活动。

这次精简，动员大部分战士返回原籍，一部分骨干调地方工作。行动方针是：深入群众，依靠群众，依山靠海，山地与平原相依存，坚持斗争。这次精简，永乐游击总队从最多时的700人枪，缩减到200余人枪。保留骨干100多人，组成8个武工队，继续进行活动。武工队的任务是：恢复和保卫基本地区，开辟新地区工作。行动方针是：深入群众，依靠群众，依山靠海，山地与平原相依存，坚持斗争。对这次精简，部分干部和战士思想上一时转不过弯来，浙南特委和瓯北中心县委作了大量耐心细致的说服工作，终于完成了精简任务。部队精简后，国民党军失去了进攻目标，浙南党组织保存了基本力量，实践证明这次精简是非常及时和必要的。