抗日战争全面爆发后,任中共中央北方局军委书记。后调任八路军驻第一战区联络处处长,从事对国民党军将领的统战工作,同时指导恢复整顿中共直南、豫北特委,在晋豫边区、太行南区等地创建抗日游击队,为建立晋冀豫抗日根据地创造了条件。同时创办华北军政干校,培养了一批抗日军政干部。1938年11月任北方局组织部部长。1939年5月任八路军第1纵队政治委员,与司令员徐向前赴山东统一指挥中共在苏鲁的部队。后兼任山东军政委员会书记、中共中央山东分局书记,领导军民开展敌后游击战争,巩固抗日民族统一战线,为巩固和发展山东抗日根据地作出了重要贡献。1943年12月入中共中央党校学习。1945年夏,主动向中共中央提出从事建设炮兵的工作,被任命为延安炮兵学校代理校长。
抗日战争胜利后,率延安炮校师生赴东北,搜集日伪军遗弃的武器,积极发展炮兵部队。1946年10月起先后任东北民主联军和东北军区炮兵司令员,兼炮兵学校校长。重视培训炮兵干部,总结作战经验,提出集中使用、步炮协同、抵近射击等战术原则,对炮兵的组织、训练、装备等方面都作出明确规定,为人民解放军炮兵的建设奠定了基础。1948年10月1日,在辽沈战役攻克义县战斗中牺牲,时年43岁。中共中央在唁电中指出,“朱瑞同志在中国人民解放军的炮兵建设中功勋卓著”。(新华社北京12月12日电)